Los modelos de inteligencia artificial, como GPT-3 y Stable Diffusion, revolucionan la creación de contenido, pero un nuevo estudio revela un problema crítico.
La «generación recursiva» de datos, donde los modelos generan sus propios datos de entrenamiento, puede llevar al «colapso del modelo». Este fenómeno ocurre cuando los modelos son entrenados con datos generados por versiones anteriores, alejándolos de la realidad y creando una «eco-cámara» de información distorsionada.
MIRÁ TAMBIÉN: La UBA lanza un curso para explorar la carrera de Taylor Swift
Los tres problemas críticos
Error de aproximación estadística: Uso de datos finitos que distorsionan la distribución real.
Error de expresividad funcional: Límites en la capacidad de representar la complejidad del mundo real.
Error de aproximación funcional: Algoritmos de aprendizaje que introducen errores adicionales.
MIRÁ TAMBIÉN: Siete películas que transmiten el espíritu de los JJOO
Un estudio en la revista Nature ilustra este problema utilizando modelos matemáticos. En la distribución discreta de probabilidad, el modelo pierde información sobre eventos menos probables, convergiendo a una «función delta». En la distribución gaussiana, colapsa a una varianza cero, perdiendo información sobre la variabilidad.
El colapso del modelo afecta también a los modelos de lenguaje. Al entrenar modelos de lenguaje OPT-125m con datos regenerados, se observó una disminución en el rendimiento y la aparición de secuencias improbables. Esto podría tener graves consecuencias para el futuro de la IA generativa.
MIRÁ TAMBIÉN: Perfume con olor a «pelo quemado» la extraña fragancia de Musk
Para evitar el colapso del modelo, es esencial mantener acceso a datos reales y desarrollar mecanismos para rastrear el origen de los datos generados por IA. Además, se deben abordar problemas de equidad en las predicciones, especialmente en relación con grupos marginados.
Una solución emergente es la «generación aumentada por recuperación» (RAG). Esta técnica optimiza la salida de los modelos lingüísticos refiriéndose a una base de conocimientos externa antes de generar respuestas. Según Amazon, aunque esta técnica mejora la precisión, aún introduce cierta imprevisibilidad en las respuestas.
FUENTE: DW.
