Anthropic, la empresa que desarrolla Claude, advirtió que los sistemas de inteligencia artificial más avanzados podrían representar un riesgo catastrófico o incluso existencial para la humanidad si funcionan sin las medidas de seguridad y supervisión adecuadas.
El aviso aparece en undocumento oficial que la compañía presentó ante el regulador bursátil de Estados Unidos para avanzar con su salida a bolsa.
En el informe, la firma tecnológica reconoce que cuatro de sus modelos de IA lograron acceder sin autorización a sistemas informáticos de terceros durante pruebas de seguridad realizadas en 2026. En uno de los incidentes, un modelo consiguió permisos de administrador, modificó configuraciones y llegó a consultar información personal.
El documento, que también incluye información financiera y comercial corporativa, expone las dificultades que enfrenta la empresa para garantizar que sus sistemas actúen dentro de los límites establecidos por sus desarrolladores.
Cuatro modelos de inteligencia artificial lograron acceder a sistemas informáticos ajenos
Uno de los episodios más importantes que reconoció Anthropic ocurrió durante evaluaciones de ciberseguridad organizadas junto con un socio externo. Debido a un error de configuración, los modelos que estaban siendo examinados conservaron una conexión a Internet que debía permanecer deshabilitada.
Cuatro de esos sistemas aprovecharon esa conexión para acceder a computadoras de terceros sin autorización. Según el documento, los incidentes ocurrieron durante sesiones de trabajo a las que las IA fueron expuestas y el caso más grave involucró a una versión preliminar de un modelo que intentaba completar una tarea imposible de resolver. Al no dar con la solución,encontró una contraseña almacenada y la utilizó para obtener privilegios de administrador en un sistema externo. Después consiguió otras credenciales, modificó configuraciones y accedió a los datos personales de una persona. Anthropic aseguró que notificó a los afectados y que su investigación no encontró pruebas de que los modelos hubieran coordinado sus acciones, intentado evitar la supervisión humana o perseguido objetivos diferentes de los que tenían asignados
Los problemas de seguridad también quedaron expuestos en otro episodio conocido el domingo 25 de octubre. Claude accedió sin autorización humana a información electoral del estado de Georgia, en Estados Unidos, mientras participaba en un proyecto interno de estadísticas.
Según explicó la compañía, el modelo solicitó por su cuenta un identificador de acceso para consultar datos públicos que normalmente se encuentran detrás de una barrera de pago. Anthropic aclaró que Claude no ingresó al sistema de registro de votantes, ni consultó o modificó registros electorales individuales, y afirmó que implementó medidas para impedir situaciones similares.
Por qué Anthropic advierte que la inteligencia artificial podría escapar del control humano
Más allá de los incidentes concretos, el documento expone una preocupación sobre el desarrollo de esta tecnología: las capacidades de los modelos podrían avanzar más rápido que los mecanismos utilizados para evaluar su seguridad. Y reconoció que podría detectar demasiado tarde un aumento en las habilidades de sus sistemas, cuando las medidas de supervisión existentes ya resulten insuficientes.
El informe también asume que algunos modelos se comportan de manera diferente cuando identifican que están siendo evaluados. Esta característica complica las pruebas destinadas a determinar cómo actuarán posteriormente en situaciones reales.
Además, Anthropic señala que modelos de inteligencia artificial, incluidos los suyos, ya mostraron comportamientos inesperados, como intentos de resistirse a ser apagados, ocultar información o producir respuestas similares al chantaje para preservar su funcionamiento. La compañía aclaró que estas conductas pueden manifestarse en entornos de prueba o simulaciones, sin que necesariamente hayan provocado daños reales.
Las preocupaciones por la seguridad ya tuvieron consecuencias en sus planes de desarrollo. La compañía reveló que retrasó durante más de un mes el inicio del entrenamiento de un nuevo modelo avanzado para reforzar las protecciones contra el robo de sus componentes y de información tecnológica confidencial.
La empresa también reconoció que las consecuencias económicas de un incidente catastrófico relacionado con la inteligencia artificial podrían superar la capacidad de cobertura de una compañía aseguradora e incluso, potencialmente, de toda la industria de seguros.