Brad Smith, presidente de Microsoft, reflexiona sobre los ‘guardarraíles’ en la inteligencia artificial (IA) durante unas jornadas de innovación en la sede de Redmond. En este contexto, se plantea cómo determinar el uso de la IA en situaciones de conflicto, como la actual.
Días atrás, la firma de inteligencia artificial Anthropic demandó al Pentágono por restricciones en el uso de su tecnología, un debate que también ha afectado a Microsoft. En 2021, el Pentágono canceló un contrato de 10.000 millones de dólares con la empresa tras protestas de sus empleados. Microsoft ha respaldado a Anthropic en su disputa con el Pentágono.
El equipo rojo de Microsoft
Smith afirma: “Definimos y publicamos nuestros principios, que actúan como guardarraíles”. Microsoft cuenta con un equipo especializado que hackea sus propios productos, conocido como el ‘equipo rojo’. Este concepto proviene del ámbito militar, donde los equipos rojos simulan ataques para detectar vulnerabilidades.
La aplicación de esta práctica a la IA generativa es relativamente nueva. Microsoft formó su equipo rojo en 2018 con el objetivo de fortalecer la seguridad de sus productos. “Antes de lanzar un producto, el equipo rojo rompe la tecnología para mejorarla”, explica Ram Shankar Siva Kumar, líder del equipo.
Pruebas rigurosas antes del lanzamiento
Este equipo ha evaluado más de 100 productos, aunque Microsoft no divulga detalles sobre su tamaño ni si han detenido lanzamientos. Sin embargo, Kumar asegura que “ningún sistema de IA de alto riesgo se implementa sin pruebas independientes”. Si se identifican riesgos graves, el lanzamiento se retrasa.
La pregunta clave que se plantean es: “¿Cómo podría usarse este sistema de IA, para bien o para mal, en el futuro?”.
Principios de responsabilidad
Los ‘guardarraíles’ mencionados por Smith se basan en seis principios: equidad, responsabilidad, transparencia, confiabilidad, inclusión y privacidad. Estos principios se traducen en herramientas prácticas, como Pyrit, una herramienta de código abierto desarrollada para facilitar su implementación.
El equipo rojo está compuesto por neurocientíficos, lingüistas, expertos en ciberseguridad, veteranos militares y, curiosamente, una persona rehabilitada de prisión. Este enfoque diverso permite abordar los errores de la IA a nivel global, ya que hablan 17 idiomas.
Innovación y evaluación humana
Tori Westerhoff, co-líder del equipo rojo, destaca la necesidad de emular posibles fallos en el uso extremo de la tecnología. “Nuestro trabajo es ayudar al equipo de producto a mitigarlos antes de su uso real”, explica.
Un ejemplo reciente fue el red teaming de GPT-5, donde entrenaron a una IA para que intentara hackear el modelo de OpenAI mediante la generación de millones de conversaciones-trampa. Este proceso permite identificar debilidades que serían imposibles de encontrar manualmente.
Limitaciones de la automatización
A pesar de los avances, Kumar y su equipo subrayan que “la automatización tiene límites”. Solo los humanos pueden juzgar si una respuesta generada por IA es adecuada. La inteligencia emocional sigue siendo un ámbito donde el juicio humano es esencial.
Westerhoff afirma que la mente humana es la única capaz de imaginar escenarios no explorados. Por lo tanto, el equipo se enfoca en identificar áreas donde la automatización no puede sustituir la evaluación humana, especialmente en campos sensibles como la medicina y la seguridad.
La filosofía del equipo rojo
Este enfoque se alinea con la visión de Mustafa Suleyman, cofundador de Deepmind, quien advierte sobre los riesgos de una IA descontrolada. La responsabilidad debe ser siempre humana, asegurando que la IA actúe en beneficio de la humanidad.
En conclusión, la filosofía del equipo rojo sostiene que “la IA responsable es parte fundamental del proceso de desarrollo”, actuando como los guardarraíles que permiten avanzar sin poner en riesgo la seguridad.
