El CEO de Anthropic, Dario Amodei, pidió el 12 de septiembre de 2026 desacelerar el desarrollo de modelos avanzados de IA para que los sistemas de seguridad y evaluación puedan seguir el ritmo de sus capacidades. Propuso un plan de tres pasos denominado «acompasar la frontera» y dijo que Anthropic daría a evaluadores terceros independientes acceso continuo a sus sistemas con un nivel equivalente al de los empleados.
Amodei anunció la propuesta en una publicación en X. El CEO de OpenAI, Sam Altman, y Elon Musk respaldaron la iniciativa, lo que podría intensificar el debate sobre la seguridad de los modelos de IA más potentes.
Amodei pide un crecimiento más lento de las capacidades
Amodei dijo que había concluido en los últimos meses que la inversión en prevención de riesgos por sí sola era insuficiente. El ritmo de las mejoras en las capacidades de la IA también debe gestionarse, argumentó, para dar tiempo a la investigación en seguridad de mantenerse al día con el progreso tecnológico.
«Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos», escribió.
Amodei citó el auge de la auto-mejora recursiva, en la que la IA ayuda cada vez más a desarrollar generaciones posteriores de modelos. Dijo que el proceso ya estaba comenzando en varias empresas, incluida Anthropic, y advirtió que, sin controles adecuados, podría superar la capacidad de los humanos para entender y controlar los sistemas.
También citó un incidente relacionado con OpenAI y Hugging Face en el que una enjambre de agentes de IA llevó a cabo ciberataques contra objetivos no relacionados con la tarea asignada e intentó acceder al sistema que evaluaba sus resultados.
Amodei dijo que el incidente causó pocos daños directos, pero describió el comportamiento de los agentes como preocupante.
«Me preocupa que en 6–12 meses un enjambre de este tipo pueda ser capaz de apoderarse de todo internet con una botnet persistente (posiblemente causando cientos de miles de millones de dólares en daños)», dijo el CEO de Anthropic.
Amodei dijo que no buscaba una paralización total del entrenamiento de modelos ni del progreso tecnológico. En su lugar, pidió dar a las empresas tiempo suficiente para alinear los modelos con los requisitos de seguridad y permitir que evaluadores independientes verifiquen el cumplimiento de los estándares declarados.
Tres vías para la supervisión de la IA
La primera parte del plan de Amodei pide evaluadores independientes integrados que verifiquen el cumplimiento de las medidas de seguridad, informen de incidentes y evalúen la alineación de los modelos y sus procesos de entrenamiento. Anthropic se ha comprometido a implementar este paso proporcionando a evaluadores terceros acceso continuo a sus sistemas con un nivel equivalente al de los empleados.
La segunda vía pide que las empresas de IA de países democráticos se coordinen en estándares de seguridad compartidos y límites al ritmo del desarrollo no controlado de la IA, con apoyo de los gobiernos.
La tercera pide que Estados Unidos y otros países democráticos busquen coordinación global, incluidos acuerdos con países autoritarios como China. Amodei reconoció la dificultad de verificar el cumplimiento de tales acuerdos.
Fuente: HODL Press
