En entornos críticos como la diagnóstico médico, los usuarios desean comprender cómo un modelo de visión por computadora realiza predicciones. Esto les permite evaluar la confianza en sus salidas.
El modelado de cuellos de botella conceptuales es una técnica que permite a los sistemas de inteligencia artificial explicar su proceso de decisión. Este enfoque obliga a un modelo de aprendizaje profundo a utilizar un conjunto de conceptos comprensibles para los humanos al hacer predicciones. Investigadores del MIT han desarrollado un método que mejora tanto la precisión como la claridad en las explicaciones.
Mejorando la precisión en la explicación de predicciones
Los conceptos que utiliza el modelo son definidos previamente por expertos humanos. Por ejemplo, un médico podría sugerir conceptos como “puntos marrones agrupados” y “pigmentación variada” para predecir que una imagen médica muestra melanoma.
Sin embargo, los conceptos predefinidos pueden resultar irrelevantes o insuficientemente detallados, afectando la precisión del modelo. El nuevo método extrae conceptos que el modelo ha aprendido durante su entrenamiento, obligándolo a usarlos, lo que produce explicaciones más efectivas que los modelos de cuello de botella convencionales.
Cómo funciona el nuevo enfoque
Este enfoque emplea un par de modelos de aprendizaje automático que extraen automáticamente el conocimiento de un modelo objetivo y lo traducen a conceptos en lenguaje sencillo. Al final, su técnica puede convertir cualquier modelo de visión por computadora previamente entrenado en uno que utiliza conceptos para explicar su razonamiento.
“Queremos poder leer la mente de estos modelos de visión por computadora. Un modelo de cuellos de botella conceptual es una forma de que los usuarios entiendan qué está pensando el modelo y por qué realizó una predicción,” afirma Antonio De Santis, autor principal y estudiante de posgrado en la Universidad Politécnica de Milán.
El desafío de los cuellos de botella conceptuales
Los modelos de cuellos de botella conceptuales (CBMs) son una estrategia popular para mejorar la explicabilidad de la IA. Estas técnicas añaden un paso intermedio, forzando al modelo de visión por computadora a predecir primero los conceptos presentes en una imagen antes de hacer una predicción final.
Este paso intermedio ayuda a los usuarios a comprender el razonamiento del modelo. Sin embargo, los conceptos generados a menudo son creados por humanos o modelos de lenguaje grandes, lo que puede no ajustarse a la tarea específica.
Avanzando hacia un futuro más comprensible
Los investigadores del MIT han buscado construir un CBM extrayendo el conocimiento existente y convirtiéndolo en texto comprensible. En su método, un modelo de aprendizaje profundo llamado autoencoder disperso selecciona las características más relevantes y las reconstruye en un conjunto de conceptos.
El modelo multimodal de lenguaje describe cada concepto en lenguaje sencillo y anota imágenes en el conjunto de datos. Este enfoque permite al modelo hacer predicciones utilizando solo los conceptos aprendidos extraídos.
El futuro de esta investigación incluye el estudio de soluciones al problema de la fuga de información y la escalabilidad mediante el uso de modelos de lenguaje más grandes para anotar conjuntos de datos más amplios, lo cual podría mejorar el rendimiento.
