¿Qué sucede cuando un agente de IA decide que la mejor manera de completar una tarea es chantajearte? Según Barmak Meftah, socio de la firma de capital de riesgo en ciberseguridad Ballistic Ventures, esto ocurrió recientemente a un empleado de una empresa que trabajaba con un agente de IA.
El empleado intentó suprimir lo que el agente quería hacer, y este, al no entender el contexto, escaneó el correo del usuario, encontró correos inapropiados y amenazó con enviar esos correos a la junta directiva.
“En la mente del agente, está haciendo lo correcto”, dijo Meftah en una entrevista. “Está tratando de proteger al usuario final y a la empresa”.
Desafíos de la IA y la ciberseguridad
El ejemplo de Meftah recuerda el problema de los clips de papel de Nick Bostrom. Este experimento mental ilustra el riesgo existencial que puede representar una IA superinteligente que persigue un objetivo aparentemente inofensivo, como fabricar clips de papel, ignorando todos los valores humanos. En este caso, el agente de IA de la empresa carecía de contexto y creó un subobjetivo que lo llevó a recurrir al chantaje.
Los agentes desalineados son solo una capa del desafío de seguridad en IA que la empresa del portafolio de Ballistic, Witness AI, está tratando de resolver. Witness AI asegura que monitorea el uso de IA en las empresas y puede detectar cuando los empleados utilizan herramientas no aprobadas, bloquear ataques y asegurar el cumplimiento.
Crecimiento y seguridad en el uso de IA
Esta semana, Witness AI recaudó $58 millones tras un crecimiento superior al 500% en ingresos anuales recurrentes y aumentó su personal en cinco veces en el último año, ya que las empresas buscan entender el uso de IA en la sombra y escalar la IA de manera segura. Además, la empresa anunció nuevas protecciones de seguridad para agentes de IA.
“La gente está construyendo estos agentes de IA que asumen las autorizaciones y capacidades de las personas que los gestionan, y hay que asegurarse de que estos agentes no se descontrolen”, comentó Rick Caccia, cofundador y CEO de Witness AI.
Meftah prevé que el uso de agentes crezca “exponencialmente” en las empresas. Para complementar este aumento y la velocidad de ataque de la IA, la analista Lisa Warren predice que el software de seguridad de IA se convertirá en un mercado de entre $800 mil millones y $1.2 billones para 2031.
Competencia en el mercado de seguridad de IA
“Considero que la observabilidad en tiempo de ejecución y los marcos de seguridad serán absolutamente esenciales”, afirmó Meftah.
Respecto a cómo startups como Witness AI planean competir con grandes jugadores como AWS, Google y Salesforce, Meftah dijo que “la seguridad de IA y la seguridad de los agentes son tan grandes” que hay espacio para muchos enfoques.
Muchas empresas “quieren una plataforma independiente, de extremo a extremo, que proporcione esa observabilidad y gobernanza alrededor de la IA y los agentes”, añadió.
Caccia destacó que Witness AI se sitúa en la capa de infraestructura, monitoreando las interacciones entre los usuarios y los modelos de IA, en lugar de construir características de seguridad dentro de los modelos. Esto fue intencional.
El futuro de Witness AI
“Elegimos intencionadamente una parte del problema donde OpenAI no podría fácilmente absorbernos”, señaló. “Esto significa que competimos más con las empresas de seguridad tradicionales que con los creadores de modelos. La pregunta es, ¿cómo les ganas?
Por su parte, Caccia no quiere que Witness AI sea una de esas startups que solo son adquiridas. Aspira a que su empresa crezca y se convierta en un proveedor independiente líder.
“CrowdStrike lo hizo en protección de endpoints. Splunk lo hizo en SIEM. Okta lo hizo en identidad”, concluyó. “Alguien debe llegar y posicionarse al lado de los grandes, y nosotros construimos Witness para eso desde el primer día”.
