Investigadores del MIT han descubierto fallos significativos en modelos de aprendizaje automático aplicados a datos diferentes de aquellos con los que fueron entrenados. Esto plantea interrogantes sobre la necesidad de realizar pruebas cada vez que un modelo se implementa en un nuevo entorno.
Marzyeh Ghassemi, profesora asociada en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, explica que, a pesar de entrenar modelos con grandes volúmenes de datos y seleccionar el mejor modelo promedio, este puede ser el peor en un nuevo entorno para entre el 6% y el 75% de los datos.
Desafíos en la implementación de modelos
En un artículo presentado en la conferencia de Sistemas de Procesamiento de Información Neural (NeurIPS 2025), los investigadores destacan que un modelo entrenado para diagnosticar enfermedades a partir de radiografías de tórax en un hospital puede no ser efectivo en otro. A pesar de que el rendimiento general pueda parecer alto, un análisis más detallado revela que algunos modelos, que funcionan bien en el primer hospital, pueden fallar en hasta el 75% de los pacientes en el segundo hospital.
Estos hallazgos indican que las correlaciones espurias, como cuando un sistema clasifica erróneamente una imagen, siguen siendo un riesgo para la confianza en los modelos en nuevos entornos. Esto es particularmente cierto en áreas como la detección de discursos de odio y diagnósticos médicos.
Correlaciones y decisiones sesgadas
Un modelo de diagnóstico médico podría aprender a asociar una marca irrelevante en las radiografías de un hospital con una patología específica. Sin embargo, en otro hospital donde esa marca no está presente, la patología podría pasarse por alto.
Investigaciones anteriores han demostrado que los modelos pueden correlacionar erróneamente factores como la edad y el género con hallazgos médicos, lo que podría llevar a conclusiones sesgadas. Por ejemplo, un modelo entrenado con radiografías de personas mayores podría predecir que solo ellos tienen cierta enfermedad.
Olawale Salaudeen, postdoctorado en MIT y autor principal del artículo, señala que los modelos deben centrarse en las características anatómicas del paciente para tomar decisiones, ya que cualquier dato correlacionado puede provocar predicciones poco fiables.
Mejoras en la evaluación de modelos
Las correlaciones espurias aumentan el riesgo de decisiones sesgadas. En el artículo, los investigadores muestran que algunos modelos de radiografías, aunque mejoraron el rendimiento general, tuvieron peores resultados en pacientes con condiciones pleurales o cardiomegalia.
Los autores del artículo también incluyen a los estudiantes de doctorado Haoran Zhang y Kumail Alhamoud, así como a la profesora asistente de EECS, Sara Beery, junto a Ghassemi.
Los investigadores han demostrado que, aunque los modelos ordenados por rendimiento mantendrán esa clasificación en nuevos entornos, hay excepciones donde los mejores modelos en un contexto resultan ser los peores en otro.
Salaudeen desarrolló un algoritmo llamado OODSelect para identificar ejemplos donde esta regla se rompe. Al entrenar miles de modelos con datos de la primera configuración, pudo calcular su precisión y luego aplicarlos a datos de la segunda configuración, identificando problemas en sub-poblaciones específicas.
Recomendaciones para el futuro
Una vez que un hospital o una organización detecte subgrupos donde un modelo presenta un rendimiento deficiente, esta información puede utilizarse para mejorar el modelo en su contexto específico. Los investigadores sugieren adoptar OODSelect para resaltar objetivos de evaluación y diseñar enfoques que mejoren el rendimiento de manera más consistente.
“Esperamos que el código liberado y los subconjuntos de OODSelect se conviertan en un punto de partida”, afirman los investigadores, “hacia estándares y modelos que aborden los efectos adversos de las correlaciones espurias”.
