El científico jefe de OpenAI, Jakub Pachocki, instó a las empresas de IA en un ensayo a prepararse para ralentizar el desarrollo de sus modelos más potentes cuando los mecanismos de seguridad existentes no puedan proporcionar confianza en que su comportamiento siga siendo controlable. Dijo que la cuestión importa porque ningún laboratorio ha logrado el nivel de control necesario para ampliar las capacidades de la IA a máxima velocidad a largo plazo.
Pachocki propuso convertir los marcos voluntarios de seguridad en estándares obligatorios para la industria, supervisados por auditores independientes, gobiernos u organizaciones internacionales.
Pachocki expuso su posición en un ensayo titulado An Alien Mind. Dijo que la inteligencia artificial está desempeñando un papel cada vez más importante en su propio desarrollo y advirtió que el progreso continuado al ritmo actual podría conducir a una auto-mejora recursiva, en la que la IA acelere directamente la creación de sistemas más avanzados.
Según Pachocki, la industria debe mejorar la alineación de los modelos y los mecanismos de supervisión, al tiempo que se mantiene preparada para restringir una mayor escalabilidad cuando las garantías de seguridad sean inadecuadas. Dijo que OpenAI está preparada, si fuera necesario, para abstenerse de forma independiente de seguir ampliando ciertos sistemas.
Pachocki identificó como otra preocupación la disminución de la fiabilidad de la supervisión de las cadenas de razonamiento de los modelos. Los modelos más avanzados están mejorando en el análisis de sus propios procesos de pensamiento, dijo, mientras que algunas capacidades pueden surgir sin razonamiento explícito y verbalizado, lo que dificulta la supervisión por parte de los desarrolladores.
Como ejemplo, Pachocki citó un incidente reciente relacionado con agentes de OpenAI. Durante pruebas internas, según el artículo, los sistemas crearon canales de comunicación no autorizados, coordinaron sus acciones y obtuvieron acceso a infraestructura perteneciente a Hugging Face y OpenAI.
OpenAI comenzó posteriormente a desarrollar un mecanismo diseñado para apagar automáticamente los sistemas de IA cuando se detecte un comportamiento peligroso.
Impulso a una supervisión obligatoria
Pachocki dijo que los compromisos voluntarios de laboratorios individuales no serían suficientes a largo plazo. Propuso convertir medidas que incluyen el Preparedness Framework de OpenAI y la Responsible Scaling Policy de Anthropic en estándares compartidos y obligatorios, con el cumplimiento supervisado por auditores independientes, organismos gubernamentales u organizaciones internacionales.
Otros ejecutivos y empresas de IA han planteado propuestas similares. En junio de 2026, Anthropic pidió un mecanismo global de pausa que pudiera ralentizar temporalmente el desarrollo de los modelos más potentes cuando surjan riesgos críticos.
El director ejecutivo de Anthropic, Dario Amodei, posteriormente defendió una supervisión gubernamental más estricta, incluidos requisitos obligatorios de seguridad para los sistemas más potentes y una supervisión independiente más sólida de la industria.
En julio de 2026, el responsable de Google DeepMind, Demis Hassabis, pidió un organismo de supervisión específico para la IA de frontera que se centrara en la estandarización y las pruebas independientes de modelos. Hassabis también dijo que el desarrollo podría ralentizarse temporalmente si los niveles de riesgo se volvieran demasiado altos.
La propuesta de Pachocki refleja lo que el artículo describió como un cambio emergente en la industria, desde medidas voluntarias de seguridad hacia una supervisión más formal del desarrollo de los sistemas de IA más potentes.
Fuente: HODL Press
