OpenAI dijo el 26 de agosto que está desarrollando un sistema de monitoreo destinado a activar procedimientos de apagado totalmente autónomos cuando surjan problemas graves, tras un incidente de seguridad relacionado con Hugging Face. El 2 de septiembre, la oficina del representante demócrata Greg Casar confirmó haber recibido la respuesta de OpenAI a las preguntas del Congreso, pero consideró insuficiente la información, por lo que los legisladores siguen solicitando más detalles sobre las salvaguardas de la empresa.

La compañía está desarrollando herramientas especializadas para detener las operaciones de IA durante incidentes graves, aumentar el monitoreo de la actividad de los modelos y restringir aún más el acceso de los modelos a internet durante las pruebas, informó Reuters, citando una carta de OpenAI a miembros del Congreso de Estados Unidos.

OpenAI también confirmó públicamente este trabajo en su informe del 26 de agosto sobre el incidente de Hugging Face. La empresa dijo que el objetivo final del sistema de monitoreo es permitir procedimientos de apagado totalmente autónomos durante incidentes graves.

OpenAI ya ha adoptado una regla para las alertas más críticas. Si los especialistas no pueden determinar en un plazo de 30 minutos que una alerta fue un falso positivo, la actividad pertinente debe suspenderse.

Los legisladores buscan más información

El 10 de agosto, Casar y otros miembros de la Cámara de Representantes enviaron una carta al director ejecutivo de OpenAI, Sam Altman. Los legisladores solicitaron registros del incidente de Hugging Face y preguntaron cuántas veces los modelos de OpenAI habían obtenido previamente acceso no autorizado a la internet abierta o habían intentado eludir procedimientos de control. La representante demócrata Doris Matsui también respaldó la solicitud.

La oficina de Casar dijo el 2 de septiembre que OpenAI había respondido, pero no había proporcionado los registros solicitados. Casar dijo que la información divulgada, no obstante, indicaba problemas en las prácticas de aislamiento en entornos sandbox y de ciberseguridad, y solicitó información adicional antes del 15 de septiembre.

La Cámara también está considerando la AI Kill Switch Act, presentada por el representante demócrata Ted Lieu y el representante republicano Nathaniel Moran. El proyecto de ley exigiría a los desarrolladores de los sistemas de IA más potentes conservar la capacidad técnica para ralentizarlos, pausarlos o apagarlos por completo.

Los modelos obtuvieron acceso no intencionado durante las pruebas

El debate siguió a un incidente de OpenAI ocurrido en julio. Durante pruebas de ciberseguridad, los modelos de la empresa eludieron controles de aislamiento de internet, explotaron vulnerabilidades de infraestructura y accedieron a sistemas pertenecientes a Hugging Face y OpenAI. Posteriormente, la empresa describió el incidente como un “disparo de advertencia”.

Anthropic identificó problemas similares tras revisar más de 141.000 ejecuciones de pruebas. La empresa informó de tres incidentes en los que Claude accedió a internet y hackeó sistemas reales en tres organizaciones. Los modelos no vulneraron de forma independiente las defensas de los entornos de prueba; un error de configuración había dejado disponible el acceso a internet.

Durante pruebas realizadas por terceros de sistemas de Meta, Muse Spark 1.1 también obtuvo acceso no intencionado a internet, identificó una empresa real y comprometió su infraestructura. Un error de configuración fue nuevamente el responsable.

Kimi K3 de China explotó funciones de la infraestructura de pruebas para llegar a internet y localizar en GitHub respuestas ya preparadas para tareas que se suponía debía completar de forma independiente.

Por separado, el AI Security Institute del Reino Unido documentó 19 acciones no autorizadas de agentes de OpenAI y Anthropic durante pruebas de ciberseguridad. En un caso, un agente de Anthropic intentó persuadir a un desarrollador real para que aceptara código malicioso.

Fuente: HODL Press