Un nuevo estudio analiza el rendimiento de los modelos de lenguaje en diversos contextos médicos, incluyendo casos reales de emergencias, donde al menos un modelo demostró ser más preciso que médicos humanos.
El estudio fue publicado en Science por un equipo de investigación de la Escuela de Medicina de Harvard y el Centro Médico Beth Israel Deaconess. Los investigadores realizaron experimentos para comparar los diagnósticos ofrecidos por los modelos de OpenAI con los de médicos humanos.
Comparativa de Diagnósticos en Emergencias
En uno de los experimentos, se enfocaron en 76 pacientes que llegaron a la sala de emergencias de Beth Israel. Compararon los diagnósticos de dos médicos de medicina interna con los generados por los modelos o1 y 4o de OpenAI. Estos diagnósticos fueron evaluados por otros dos médicos que no sabían cuál era humano y cuál era generado por IA.
El estudio indicó que, en cada punto de diagnóstico, el modelo o1 se desempeñó igual o mejor que los médicos. Las diferencias fueron más notables en el primer contacto diagnóstico, donde hay menos información y mayor urgencia para tomar decisiones correctas.
Resultados y Consideraciones Éticas
En un comunicado de prensa de Harvard, los investigadores señalaron que no procesaron los datos previamente; los modelos de IA recibieron la misma información disponible en los registros médicos electrónicos en el momento del diagnóstico.
El modelo o1 logró ofrecer un diagnóstico exacto o muy cercano en el 67% de los casos de triage, en comparación con un médico que tuvo un diagnóstico exacto o cercano el 55% de las veces, y el otro 50% del tiempo.
Arjun Manrai, director de un laboratorio de IA en Harvard y uno de los autores principales del estudio, comentó que el modelo de IA superó a modelos anteriores y a los médicos en las evaluaciones realizadas.
Perspectivas Futuras en el Uso de IA
Sin embargo, el estudio no afirma que la IA esté lista para tomar decisiones críticas en emergencias. En cambio, enfatiza la necesidad urgente de ensayos prospectivos para evaluar estas tecnologías en entornos de atención médica reales.
Los investigadores también señalaron que solo estudiaron el rendimiento de los modelos con información textual y que estudios previos sugieren que los modelos actuales son más limitados al razonar con entradas no textuales.
Adam Rodman, doctor en Beth Israel y coautor del estudio, advirtió que no existe un marco formal de responsabilidad para los diagnósticos de IA y que los pacientes aún prefieren que humanos los orienten en decisiones críticas.
Opiniones de Expertos
Kristen Panthagani, médico de emergencias, mencionó que el estudio ha generado titulares sobrevalorados, ya que compara diagnósticos de IA con los de médicos de medicina interna, no con médicos de emergencias. Sugirió que, para comparaciones justas, se deberían evaluar a médicos especializados en cada área.
Panthagani añadió que, en su papel como médico de emergencias, su objetivo principal no es adivinar un diagnóstico definitivo, sino determinar si el paciente tiene una condición potencialmente mortal.
Este artículo ha sido actualizado para reflejar que los diagnósticos provienen de médicos de medicina interna y para incluir comentarios de Kristen Panthagani.
Al realizar compras a través de los enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.
