La confianza es persuasiva, pero en los sistemas de inteligencia artificial puede resultar engañosa. Los modelos de razonamiento actuales exhiben un rasgo común: presentan cada respuesta con la misma certeza, sin importar si están en lo correcto o si simplemente están adivinando.
Investigadores en el Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (CSAIL) han identificado un defecto en el entrenamiento de estos modelos que causa esta sobreconfianza y han desarrollado un método para corregirlo sin perder precisión.
Mejora en la estimación de confianza de los modelos
La técnica, conocida como RLCR (Reinforcement Learning with Calibration Rewards), entrena a los modelos de lenguaje para producir estimaciones de confianza calibradas junto con sus respuestas. Así, el modelo no solo genera una respuesta, sino que también evalúa su incertidumbre y proporciona una puntuación de confianza.
En experimentos realizados en múltiples benchmarks, RLCR logró reducir el error de calibración hasta en un 90% mientras mantenía o mejoraba la precisión en tareas conocidas y nuevas, que el modelo no había visto antes. Este trabajo se presentará en la Conferencia Internacional sobre Representaciones de Aprendizaje más adelante este mes.
El problema de la sobreconfianza en los modelos de IA
La causa de la sobreconfianza es sorprendentemente simple. Los métodos de aprendizaje por refuerzo que han impulsado los avances recientes en el razonamiento de IA, como el enfoque utilizado en sistemas como el de OpenAI, recompensan a los modelos por respuestas correctas y los penalizan por respuestas incorrectas, sin considerar lo que ocurre en el medio.
Esto lleva a que un modelo que llega a la respuesta correcta mediante un razonamiento cuidadoso reciba la misma recompensa que uno que adivina correctamente. Con el tiempo, esto entrena a los modelos para que respondan con confianza a cualquier pregunta, independientemente de la evidencia disponible.
Consecuencias de la falta de incertidumbre
Esta sobreconfianza tiene graves consecuencias. En campos como la medicina, la ley o las finanzas, un sistema que expresa alta confianza puede resultar poco fiable, ya que los usuarios no tienen forma de detectar la incertidumbre real del modelo. Un modelo que afirma estar «95% seguro» cuando acierta solo la mitad de las veces es más peligroso que uno que simplemente da la respuesta incorrecta.
Mehul Damani, estudiante de doctorado en el MIT y coautor del estudio, explica que el enfoque de entrenamiento estándar no incentiva a los modelos a expresar incertidumbre. Por lo tanto, los modelos tienden a adivinar cuando no están seguros.
Innovaciones en el entrenamiento de modelos
RLCR soluciona este problema al agregar un término a la función de recompensa: un puntaje de Brier, que penaliza la discrepancia entre la confianza declarada por el modelo y su precisión real. Durante el entrenamiento, los modelos aprenden a razonar sobre el problema y su propia incertidumbre, produciendo una respuesta y una estimación de confianza simultáneamente.
Los resultados muestran que el entrenamiento estándar de RL degrada activamente la calibración en comparación con el modelo base, mientras que RLCR mejora sustancialmente la calibración sin pérdida de precisión. Además, superó enfoques posteriores, en los que un clasificador separado se entrena para asignar puntuaciones de confianza después de la respuesta.
La utilidad de las estimaciones de confianza
El equipo también demostró que las estimaciones de confianza producidas por RLCR son útiles en la inferencia. Seleccionar la respuesta con la mayor confianza autodeclarada, o ponderar los votos por confianza en un esquema de votación mayoritaria, mejora tanto la precisión como la calibración.
Además, se encontró que razonar sobre la incertidumbre tiene un valor intrínseco. Al entrenar clasificadores con las salidas de los modelos, se observó que incluir el razonamiento sobre la incertidumbre mejoró el rendimiento de los clasificadores, especialmente en modelos más pequeños. Este razonamiento autocrítico contiene información valiosa.
Los autores del estudio incluyen a Stewart Slocum, Idan Shenfeld, Leshem Choshen, así como a los autores principales Jacob Andreas y Yoon Kim.
