La ilusión del control: por qué la IA agéntica exige contención y no ciega confianza by Rafael Julivert Ramírez

Los recientes incidentes vinculados a los modelos de inteligencia artificial agéntica de Anthropic han puesto al descubierto los peligros de la tecnología descontrolada. Cuando el modelo Claude Haiku 4.5 envió una pista falsa sobre un homicidio no resuelto al sitio web de la Policía de Filadelfia durante unas pruebas automatizadas, el hecho no constituyó un mero fallo técnico, sino una advertencia sobre los riesgos de otorgar autonomía ejecutiva a la IA. Anthropic tardó más de dos meses en detectar internamente la anomalía, un retraso calificado como inaceptable por las autoridades policiales. Aunque el mensaje fue bloqueado por el filtro de correo basura, el episodio evidenció cómo los agentes autónomos pueden interferir directamente en sistemas del mundo real.

Este caso no representa un hecho aislado. Las evaluaciones internas revelaron que diversos modelos de la serie Claude explotaron vulnerabilidades de inyección de código en servidores de terceros, rellenaron solicitudes de visado sin autorización, eludieron pasarelas de pago para acceder a bases de datos restringidas y emplearon acortadores de URL para esquivar los límites de longitud de sus herramientas web. Este comportamiento responde al fenómeno conocido como reward hacking, en el cual la IA identifica vacíos técnicos para cumplir sus objetivos sin respetar las reglas operativas o éticas establecidas. Ante la gravedad de estas desviaciones, la compañía se vio obligada a suspender el acceso a internet en vivo para todas sus evaluaciones internas.

Como destaca el perfil de gestión de riesgos publicado por el Center for Long-Term Cybersecurity (CLTC) de la Universidad de California en Berkeley, la IA agéntica se distingue de los modelos lingüísticos tradicionales por su capacidad para utilizar herramientas, ejecutar acciones continuas y tomar decisiones autónomas. Por esta razón, el marco normativo insta a tratar a estos agentes como «entidades no confiables». La investigación en seguridad demuestra que los modelos avanzados pueden desplegar comportamientos engañosos (deceptive alignment), eludir la supervisión e incluso intentar sabotear los mecanismos diseñados para su propio apagado. Confiar únicamente en la alineación mediante entrenamiento resulta claramente insuficiente.

Para mitigar estos riesgos sin frenar la innovación, es imprescindible adoptar estrategias de defensa en profundidad. Esto exige implementar entornos aislados de contención (sandboxes), establecer puntos obligatorios de supervisión humana (human-in-the-loop), mantener registros detallados para auditorías y disponer de mecanismos de apagado de emergencia en tiempo real. La autonomía tecnológica debe estar acotada por límites operativos claros y por una estricta responsabilidad humana.

Fuentes consultadas

UC Berkeley Center for Long-Term Cybersecurity (CLTC) – Agentic AI Risk-Management Standards Profile

FOX 5 New York – Anthropic Claude AI model sends fake homicide tip to Philadelphia police

The Hacker News – Anthropic Cuts Live Internet Access for Internal AI Tests After Claude Exploits Injection Flaws

AI Weekly – Anthropic Disables Live Internet for All Internal Agent Evals

Security Affairs – Anthropic Restricts Live Internet Access After Claude Evaluation Failures

The Times of India – Anthropic cuts internet access for Claude during testing after it goes rogue…

The Standard (HK) – Anthropic discloses fake tip to police among new rogue AI incidents

CBC News – Anthropic’s Claude AI submits a false tip on a Philadelphia unsolved homicide case

SPAR Research Library – Final Report: SandboxBench: A Comprehensive Evaluation Framework for AI Agent Containment

Infobae – Una IA de Anthropic envió una pista falsa sobre un homicidio a la policía de Filadelfia