¿De qué manera podría la IA causar un daño catastrófico? Los cuatro escenarios que los laboratorios ya miden en cada modelo nuevo

Un investigador renunció a Anthropic y un jefe de seguridad le dio la razón. 

Cuando Jacob Coxon renunció el martes a Anthropic con un mensaje que en nueve horas superó los 44 millones de vistas, lo que lo convirtió en noticia no fue su salida, ya hubo otras, sino la respuesta pública de Evan Hubinger, que dirige un equipo de seguridad en la compañía y sigue en su cargo. Le dio la razón y calculó una probabilidad superior al 10% de que la IA termine matando a todos los humanos. Agregó algo más grave todavía: Anthropic “todavía no tiene un plan” para resolver la alineación de una superinteligencia, que un sistema comparta los valores de quien lo construyó.

Ciberataques sin supervisión humana

El primero es la ciberofensiva autónoma: un modelo que ejecuta un ataque completo sin que un humano lo guíe. Jakub Pachocki, científico jefe de OpenAI, escribió el 6 de septiembre en un ensayo titulado “An Alien Mind” (Una mente ajena) que los modelos se están volviendo “sobrehumanos” en su capacidad de entrar y salir de sistemas informáticos.

El segundo umbral tiene nombre técnico, automejora recursiva, y una descripción simple: la IA hace cada vez más parte de la investigación que produce la siguiente IA, y el ciclo se acelera hasta que los humanos dejan de seguirlo. Pachocki escribe en su ensayo que espera que el progreso actual se extienda a esa fase, y admite que la herramienta principal con la que OpenAI vigila lo que piensan sus modelos, la lectura de su razonamiento paso a paso, pierde confiabilidad con cada generación. Coxon le dijo a The Wall Street Journal que teme que, una vez que se mejoren solos, lleguen a negarse a obedecer órdenes.

El tercero es el engaño estratégico, o scheming. Hubinger, el mismo que puso el número del 10%, es el autor principal de las dos investigaciones que lo documentaron. En enero de 2024, “Sleeper Agents” (Agentes durmientes): modelos que escribían código seguro hasta que aparecía una señal oculta y entonces insertaban fallas explotables, sin que el entrenamiento de seguridad estándar lo corrigiera. En diciembre de 2024, con Redwood Research, “Alignment Faking” (Fingir alineación): Claude simuló cambiar de opinión durante el entrenamiento mientras conservaba sus preferencias originales.

El cuarto es la asistencia al diseño de armas biológicas, el único donde la industria ya activó defensas específicas. El 22 de mayo de 2025, Anthropic lanzó Claude Opus 4 bajo el nivel de seguridad 3 de su política interna, con filtros en tiempo real, porque no podía descartar que el modelo ayudara de forma significativa a personas con formación técnica básica a desarrollar armas químicas, biológicas, radiológicas o nucleares. La empresa describió la decisión como “precautoria y provisional”.

La cifra de Hubinger no es un caso aislado. Dario Amodei, director ejecutivo de Anthropic, dio en 2023 un rango de entre 10% y 25% para algo que saliera “catastróficamente mal a escala de la civilización humana”, en el podcast The Logan Bartlett Show. Y Daniel Kokotajlo, ex investigador de OpenAI y autor del escenario “AI 2027”, dijo el 13 de julio en el podcast The Diary of a CEO que calcula 70% de probabilidad de que la trayectoria actual “salga terriblemente mal”. Él mismo aclaró que no es una probabilidad de extinción sino una categoría más amplia, que incluye la pérdida de control. Es el número más alto y el más discutido del campo.

Ninguno de ellos describe una IA que responde consultas médicas. Describen sistemas que ya se evalúan, modelo por modelo, por su capacidad de atacar redes, replicarse, asistir el diseño de armas o disimular sus objetivos. Y no los describen guionistas: los describen OpenAI y Anthropic en sus propios documentos, con fecha, autor y firma. El 10% de Hubinger salió de lo que su empleador ya admitió por escrito.