ChatGPT, lanzado el 30 de noviembre del año pasado, ha ayudado a millones de personas, desde estudiantes de secundaria hasta programadores de software, a ser más eficientes con los ordenadores. Sin embargo, un análisis de los investigadores de la Universidad de Stanford y UC Berkeley indica que el rendimiento de ChatGPT ha disminuido “sustancialmente con el tiempo”.
El estudio comparó el rendimiento de las dos versiones de ChatGPT disponibles en el mercado, GPT-3.5 y GPT-4, entre marzo y junio de 2023. Los modelos se sometieron a cuatro tareas: resolución de problemas matemáticos, responder a preguntas sensibles, generar código y razonamiento visual.
Los resultados arrojados por la versión GPT-4 fueron especialmente decepcionantes. Su precisión en la resolución de problemas matemáticos se desplomó a tan solo el 2,4% en junio, en comparación con el 97,6% que alcanzó en marzo. Mientras tanto, GPT-3.5 mostró un rendimiento ligeramente mejor, pero también reflejó un retroceso.
MehrunNisa Kitchlew, investigadora de IA de Pakistán, sugiere que estos problemas pueden surgir a medida que los modelos de IA aprenden de sus propios sesgos y errores, lo que podría llevar a un efecto de amplificación. Esta teoría se ve respaldada por un estudio realizado por investigadores del Reino Unido y Canadá, que apunta a un “colapso del modelo” cuando los nuevos modelos de IA son entrenados con los datos generados por modelos anteriores.
La solución más obvia a este problema, según Ilia Shumailov, autor principal del estudio e investigador de la Universidad de Oxford, es el uso de datos generados por humanos para el entrenamiento de los modelos de IA.
Ante las preocupaciones planteadas, OpenAI ha negado que la inteligencia de ChatGPT esté disminuyendo. El vicepresidente de Producto y Asociaciones de OpenAI, Peter Welinder, afirmó en Twitter que “no, no hemos hecho GPT-4 más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior”. Sin embargo, los resultados del estudio no parecen respaldar esta afirmación, abriendo el debate sobre la evolución y la eficacia de los modelos de IA.
