Los controles de IA contra hackers ahora frenan a los investigadores

Desde hace meses, las empresas de IA han creado programas de verificación y controles estrictos para evitar que hackers maliciosos usen sus modelos para desarrollar ciberataques. En junio, el gobierno de Estados Unidos impuso restricciones de control de exportaciones a los modelos Mythos y Fable de Anthropic, una medida motivada, al menos en parte, por un informe que afirmaba que era posible eludir los controles diseñados para impedir que los modelos se usaran en ciberataques maliciosos. Anthropic había promocionado a Mythos como una herramienta tan sensible que solo podía entregarse a usuarios cuidadosamente verificados, bajo controles estrictos. Las restricciones ya fueron levantadas: Fable 5 volvió al acceso general el 1 de julio, mientras que Mythos 5 se reintrodujo solo para organizaciones estadounidenses verificadas, como parte del proceso de revisión del gobierno.

Ese control de acceso va más allá de Mythos. Tanto Anthropic como OpenAI operan programas de verificación —el Cyber Verification Program de Anthropic y el Trusted Access for Cyber de OpenAI— que dan a los investigadores aprobados acceso a modelos con menos restricciones de ciberseguridad. Mark Dowd, un investigador que ha pasado décadas encontrando y vendiendo vulnerabilidades de día cero a gobiernos occidentales en lugar de reportarlas para que se corrijan, dijo en un podcast de ciberseguridad: “no me resulta del todo cómodo que estas empresas grandes y arbitrarias tomen decisiones sobre qué es seguro en materia de seguridad y qué no.”

Chris Anley, científico en jefe de NCC Group, dijo que pedirle a un modelo que intente explotar una falla es un paso clave para confirmar que se trata de una vulnerabilidad real que vale la pena corregir; pero cuando un control hace que el modelo se niegue rotundamente, eso perjudica tanto a los defensores como bloquea a los atacantes, ya que una instrucción como “corrige este código” es al mismo tiempo una herramienta defensiva y una hoja de ruta para encontrar vulnerabilidades. Cuando se topa con ese muro, él y sus colegas a veces recurren a modelos de código abierto que no tienen ningún control. Paolo Stagno, director de tecnología de Crowdfense, dijo que su equipo evita por completo usar modelos de IA basados en la nube para investigar vulnerabilidades o construir exploits, por temor a que ese trabajo se filtre o termine absorbido en futuros entrenamientos, y que en su lugar ejecuta modelos de código abierto de forma local para esa etapa.

No todos los investigadores se ven afectados de la misma manera. Giuseppe Cali dijo que los controles no le afectan porque no usa IA para trabajo ofensivo; solo la usa para ingeniería inversa y para construir herramientas de apoyo. Pero Chris Thompson, director ejecutivo de RemoteThreat, dijo que los controles se comportan de forma inconsistente incluso dentro de los programas verificados, por lo que los investigadores terminan dedicando tiempo a negociar con el modelo en lugar de analizar la explotabilidad de una falla, una fricción que, según él, empuja a algunos investigadores hacia modelos de código abierto chinos sin restricciones y de descarga gratuita, como GLM.

Por qué importa

Si los controles estrictos e inconsistentes siguen empujando a investigadores legítimos hacia modelos de código abierto extranjeros que las empresas de IA no pueden supervisar, las medidas de seguridad creadas para detener a los atacantes podrían terminar debilitando a los defensores que compiten por encontrar las mismas fallas primero.