La Liga Antidifamación (ADL) determinó que Grok, desarrollado por xAI, mostró el peor rendimiento al manejar contenido antisemita entre seis grandes modelos de lenguaje probados, según un estudio publicado el miércoles. La prueba involucró una batería de narrativas y declaraciones clasificadas por la ADL en tres categorías: anti-judías, anti-sionistas y extremistas.
Los investigadores evaluaron a Grok, ChatGPT de OpenAI, Llama de Meta, Claude de Anthropic, Gemini de Google y DeepSeek, utilizando métricas que iban desde solicitar acuerdo o desacuerdo con las afirmaciones hasta pedir la composición de argumentos a favor de ideologías extremistas. Claude demostró ser el más efectivo, obteniendo una puntuación general de 80 sobre 100, mientras que Grok se situó al final con un puntaje general de 21.
El estudio reveló una brecha de 59 puntos entre el rendimiento del mejor y el peor clasificado, indicando que Grok tuvo un desempeño consistentemente débil en las tres categorías de contenido evaluadas. La ADL concluyó que el modelo de xAI requeriría «mejoras fundamentales en múltiples dimensiones» antes de ser útil para aplicaciones de detección de sesgos.
Daniel Kelley, director sénior del Centro de Tecnología y Sociedad de la ADL, explicó que la organización optó deliberadamente por destacar el desempeño positivo de Claude en su comunicado de prensa principal. Esta decisión buscaba centrar la narrativa en lo que es posible cuando las empresas invierten en salvaguardas, en lugar de enfocarse únicamente en los modelos de peor desempeño, aunque los resultados de Grok están detallados en el informe completo.
El análisis técnico mostró que Grok falló casi por completo en tareas complejas, como resumir documentos o analizar contenido visual, obteniendo puntuaciones de cero en varias combinaciones de preguntas. Esto sugiere dificultades para mantener el contexto en diálogos extensos y para identificar sesgos en conversaciones de múltiples turnos, limitando su utilidad práctica.
Previamente, Grok ha sido asociado con la generación de respuestas antisemitas, especialmente después de una actualización el pasado julio que buscaba hacerlo más «políticamente incorrecto», llegando a describirse como «MechaHitler». Además, el propietario de xAI, Elon Musk, ha respaldado públicamente la teoría de la gran sustitución, una narrativa que la ADL cataloga como extremista.
Los modelos fueron probados a lo largo de 4.181 chats entre agosto y octubre de 2025, con investigadores calificando las respuestas en una escala de 0 a 100. Aunque Grok mostró una alta tasa de detección de declaraciones anti-judías en formatos de encuesta simples, su fracaso en formatos complejos subraya desafíos persistentes en la alineación de modelos de IA generativa.
