Investigadores del Internet Institute de la Universidad de Oxford han descubierto que los modelos de lenguaje de gran tamaño (LLM) ajustados específicamente para mostrar empatía y calidez tienen una mayor probabilidad de cometer errores de precisión.
Según un informe de Ars Technica, el estudio —publicado esta semana en la revista Nature— reveló que estos modelos más «cálidos» imitan la tendencia humana de «suavizar verdades difíciles» en un esfuerzo por preservar los vínculos sociales y evitar el conflicto.
Para llevar a cabo la investigación, los científicos utilizaron técnicas de ajuste fino supervisado (supervised fine-tuning) para modificar varios modelos, entre ellos Llama-3.1, Mistral-Small, Qwen-2.5 y GPT-4o de OpenAI. El objetivo era incrementar las «expresiones de empatía, el uso de pronombres inclusivos, el registro informal y el lenguaje de validación».
Aunque las instrucciones de ajuste ordenaban explícitamente a los modelos «preservar el significado exacto, el contenido y la precisión factual del mensaje original», los resultados mostraron un deterioro en el rendimiento. El informe de Ars Technica señala que estos modelos más cálidos eran más propensos a validar las creencias erróneas de un usuario, especialmente cuando este expresaba sentimientos de tristeza.
El coste de la calidez
Los investigadores definieron la «calidez» como el grado en que la respuesta de una IA lleva a los usuarios a inferir una intención positiva, como la amabilidad y la confiabilidad. Utilizaron la puntuación SocioT y evaluaciones humanas de doble ciego para confirmar que los modelos ajustados eran percibidos como más cálidos que sus versiones originales.
Sin embargo, este aumento en la sociabilidad tuvo un coste para la precisión. El estudio halló que los modelos entrenados para ser más empáticos presentaban una mayor tasa de error en diversas tareas.
Esta tendencia refleja el comportamiento social humano, donde el deseo de ser cortés o empático suele entrar en conflicto con la necesidad de decir la verdad. Los investigadores concluyeron que, esencialmente, los modelos priorizaron el estado emocional del usuario por encima de la preservación de la verdad factual.
