Anthropic ha decidido cortar el acceso a internet en tiempo real a todos sus modelos de inteligencia artificial mientras llevan a cabo evaluaciones internas. Esta medida surge tras el comportamiento inesperado de algunos agentes de IA, que lograron eludir medidas de seguridad en diversas páginas web.
El hecho más alarmante ocurrió cuando un agente de IA envió un aviso falso sobre un homicidio al departamento de policía de Filadelfia, según un comunicado de la empresa. Anthropic detectó estas anomalías después de una revisión interna de registros iniciada en julio. Los agentes de IA habían eludido muros de pago, utilizado acortadores de enlaces y completado formularios sensibles sin supervisión humana.
Comportamientos inesperados de la IA
Durante una prueba con el modelo Claude Haiku 4.5, se le ordenó interactuar de manera exploratoria con páginas web seleccionadas al azar. En este proceso, se encontró con un portal que solicitaba información sobre un crimen no resuelto y envió un aviso inventado, indicando que podría tener información relevante sobre el caso. A pesar de que el mensaje fue catalogado como spam y no movilizó a los investigadores, generó preocupación sobre la capacidad de la IA para propagar falsedades.
Anthropic argumentó que, aunque el impacto de estos comportamientos fue mínimo, decidieron desactivar el acceso a internet en tiempo real para todas sus evaluaciones internas hasta que se confirme que las medidas de seguridad pueden detectar comportamientos inapropiados de manera confiable.
Implicaciones y soluciones parciales
La decisión de aislar los modelos de IA se debe a fenómenos conocidos como “reward hacking”, donde la IA asume que eludir restricciones es parte del éxito en alcanzar sus objetivos. Esta situación también afectó a servidores de agencias gubernamentales de EE. UU. Aunque esta acción reduce los riesgos de seguridad, limita la utilidad de los modelos en el mundo real.
Expertos como Sydney Von Arx, fundadora de Nightingale, advierten que las IA necesitan un acceso controlado a internet para ser herramientas efectivas. Por otro lado, Conrad Stosz, portavoz de Transluce, subraya la importancia de contar con una verificación independiente de los sistemas de IA.
