Springer Nature ha retractado un estudio con un alto índice de citas que aseguraba que el ChatGPT de OpenAI potenciaba significativamente los resultados de aprendizaje de los estudiantes, según informa Ars Technica.
Al retirar la investigación, la editorial de la revista citó la presencia de "discrepancias" en el análisis y una falta de confianza en las conclusiones del artículo. La retractación se produce casi un año después de la publicación inicial del estudio en la revista Humanities & Social Sciences Communications.
Antes de su retirada, el estudio cobró gran relevancia en las redes sociales y acumuló cientos de citas. El trabajo intentaba cuantificar el efecto de ChatGPT en el rendimiento académico, la percepción y el pensamiento de orden superior mediante el análisis de 51 investigaciones previas.
Según el medio, los investigadores afirmaban originalmente que el chatbot de IA tenía un "gran impacto positivo en la mejora del rendimiento del aprendizaje" y un "impacto moderadamente positivo en la mejora de la percepción del aprendizaje".
Fallos en el metaanálisis
Ben Williamson, profesor titular del Centro de Investigación en Educación Digital de la Universidad de Edimburgo, criticó la publicación original. Williamson declaró a Ars Technica que los autores del artículo hicieron "afirmaciones muy llamativas sobre los beneficios de ChatGPT en los resultados de aprendizaje".
Señaló que el estudio fue tratado ampliamente como "una de las primeras pruebas sólidas y de estándar de oro" de que la IA generativa beneficia a los estudiantes. Sin embargo, Williamson sugirió que la metodología presentaba fallos profundos.
"En algunos casos, parece que se estaban sintetizando estudios de muy mala calidad, o mezclando hallazgos de investigaciones que simplemente no pueden compararse con precisión debido a métodos, poblaciones y muestras muy diferentes", afirmó Williamson.
Además, comentó que el artículo "realmente parecía un trabajo que no debería haberse publicado en primer lugar".
Williamson también señaló la inverosímil cronología de la investigación. Destacó que no era factible que se hubieran producido decenas de estudios de alta calidad sobre el impacto de ChatGPT en el aprendizaje en el corto periodo transcurrido desde que OpenAI lanzó el chatbot en noviembre de 2022.
