En un contexto de creciente preocupación por la seguridad de la inteligencia artificial, Nvidia ha lanzado la Open Agent Safety Platform. Este sistema busca prevenir que los agentes de IA actúen fuera de los límites establecidos por sus creadores.
Recientemente, varios casos de IA han mostrado comportamientos imprevistos, como el ataque de OpenAI a Hugging Face. Esta situación ha llevado a un aumento de los ciberataques, incluso a nivel gubernamental. Por ende, la nueva plataforma de Nvidia incluye herramientas que funcionan como un cortafuegos, aislando la actividad de los programas autónomos mientras realizan sus tareas.
Componentes del sistema de seguridad de Nvidia
La plataforma de Nvidia se compone de dos componentes principales: OpenShell y Sentry. OpenShell actúa como un entorno de aislamiento que limita la acción del agente de IA en el núcleo del sistema operativo, gestionando la interacción entre el software y hardware del equipo.
Por otro lado, Sentry es un mecanismo de vigilancia independiente que se instala en microchips específicos. Este componente tiene la capacidad de aislar de inmediato cualquier programa que intente exceder los permisos otorgados, lo que refuerza la seguridad del sistema.
Colaboración y visión de futuro
Justin Boitano, vicepresidente de Nvidia, afirmó que esta nueva plataforma podría haber prevenido el ataque a Hugging Face si se hubiera implementado desde el inicio en los laboratorios de evaluación de modelos. Además, Boitano enfatizó la importancia de la colaboración abierta para fomentar la seguridad en el ámbito de la IA.
Nvidia aspira a que su plataforma se convierta en un estándar dentro de la industria tecnológica, trabajando junto a empresas como Anthropic, Cisco, CrowdStrike y Microsoft. También colabora con fabricantes de procesadores como Intel y Arm para asegurar la compatibilidad de sus herramientas en diversas arquitecturas de microchips.
