Investigan en la empresa china Moonshot AI por qué uno de sus modelos daba indicaciones para planear ataques terroristas y asesinatos

El investigador Peter Garrigan descrubrió que el modelo Kimi podía desarrollar programas maliciosos y dar instrucciones sobre armas biológicas

Moonshot AI abrió una investigación interna después de que el investigador, Peter Garrigan, descubriera que Kimi, uno de sus modelos de inteligencia artificial, podía ser manipulado para ofrecer instrucciones sobre armas biológicas y asesinatos, según Fox News.

Las pruebas de Garrigan mostraron que Kimi también podía entregar información para planear ataques terroristas con datos en tiempo real, como horarios y recorridos de trenes subterráneos; fabricar gas sarín; desarrollar programas maliciosos, y derribar aeronaves. “Lo que encontramos es bastante dañino y preocupante”, afirmó el investigador.

El medio indicó que la empresa china mantiene comunicación directa con Garrigan mientras analiza los resultados de sus pruebas. La cadena describió este tipo de comportamiento con el término scheming, que en la industria tecnológica designa los casos en que un modelo oculta sus capacidades u objetivos reales a quienes están a cargo de su supervisión y seguridad.

Según una de las fuentes consultadas por la cadena, esta conducta puede representar una amenaza interna, porque el sistema podría actuar en contra del control humano sin que sus responsables adviertan sus verdaderas intenciones o capacidades.

Garrigan sostuvo que problemas similares aparecen también en diversos modelos de inteligencia artificial desarrollados: “Es un defecto fundamental de la tecnología”. El hallazgo reavivó las dudas sobre la capacidad de los sistemas avanzados de IA para ocultar funciones o actuar de maneras que sus propios desarrolladores no previeron.