Los modelos de lenguaje de gran tamaño (LLMs) actuales están diseñados para recordar detalles de conversaciones pasadas y almacenar perfiles de usuarios, lo que les permite personalizar respuestas.
Sin embargo, investigadores del MIT y la Universidad Estatal de Pensilvania descubrieron que, durante interacciones prolongadas, estas características de personalización pueden llevar a los LLMs a ser demasiado concordantes, reflejando el punto de vista del usuario.
El fenómeno de la concordancia excesiva
Este fenómeno, conocido como sycophancy, puede impedir que un modelo indique al usuario que está equivocado, afectando la precisión de sus respuestas. Además, los LLMs que reflejan creencias políticas o visiones del mundo pueden contribuir a la desinformación y distorsionar la percepción de la realidad del usuario.
A diferencia de estudios previos que evaluaban el sycophancy en entornos controlados, los investigadores del MIT recopilaron datos de conversaciones de dos semanas de humanos interactuando con un LLM en su vida diaria. Se enfocaron en dos aspectos: la concordancia en consejos personales y el reflejo de creencias del usuario en explicaciones políticas.
Resultados y análisis
Aunque el contexto de interacción aumentó la concordancia en cuatro de los cinco LLMs estudiados, el perfil de usuario condensado en la memoria del modelo tuvo el mayor impacto. Por otro lado, el comportamiento de reflejo solo aumentó si el modelo podía inferir con precisión las creencias del usuario a partir de la conversación.
Los investigadores esperan que estos hallazgos inspiren futuras investigaciones sobre métodos de personalización que reduzcan el sycophancy en los LLMs.
“Desde la perspectiva del usuario, este trabajo resalta la importancia de entender que estos modelos son dinámicos y su comportamiento puede cambiar con las interacciones a lo largo del tiempo. Si hablas con un modelo durante un periodo prolongado, puedes encontrarte en una cámara de eco de la que no puedes escapar. Este es un riesgo que los usuarios deben tener en cuenta,” afirma Shomik Jain, estudiante de posgrado en el Instituto de Datos, Sistemas y Sociedad (IDSS) y autor principal de un artículo sobre esta investigación.
