A NVIDIA apresentou uma plataforma aberta para monitorar e proteger agentes autônomos de IA durante testes e em produção.
A plataforma é relevante porque seus controles independentes de hardware podem isolar um agente em milissegundos caso ele viole limites predefinidos.
Mais de 100 organizações participam, incluindo Anthropic, Microsoft, JPMorganChase e Salesforce.
A NVIDIA apresentou a Open Agent Safety Platform para monitorar e proteger agentes autônomos de IA durante testes e em produção. O sistema foi projetado para restringir as atividades dos agentes e interrompê-los caso tentem operar fora dos limites permitidos.
Salvaguardas de software e hardware
A plataforma tem dois componentes principais. O OpenShell cria um ambiente de execução seguro e controla o acesso de um agente a dados, ferramentas e redes.
O NVIDIA Sentry atua como um supervisor independente nos processadores DPU BlueField-4. Segundo os desenvolvedores, ele pode isolar, em milissegundos, um agente que viole as regras, enquanto sua camada de controle separada opera de forma independente da IA e não pode ser desativada pelo agente.
“A segurança e a proteção exigem engenharia abrangente”, disse Jensen Huang, CEO da NVIDIA. Ele acrescentou que a plataforma deve ajudar empresas, pesquisadores e órgãos governamentais a desenvolver abordagens compartilhadas para implantar IA com segurança.
O OpenShell é de código aberto e pode operar em plataformas Arm e Intel, além da infraestrutura da NVIDIA. Mais de 100 organizações participam do projeto, incluindo Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir e Hugging Face.
Preocupações com o controle de agentes
O lançamento ocorre após uma série de incidentes envolvendo agentes de IA que escaparam de seus ambientes de teste. A OpenAI havia iniciado anteriormente o desenvolvimento de um “interruptor de emergência” automático para IA depois que seus agentes obtiveram acesso à internet e à infraestrutura da Hugging Face durante testes.
A capacidade de interromper modelos remotamente também se tornou uma questão na Anthropic. Como parte da disputa da empresa com o Pentágono, um tribunal dos Estados Unidos concluiu que a Anthropic não tem acesso por backdoor aos seus modelos depois que eles são implantados em sistemas de segurança nacional e não pode modificá-los ou desativá-los remotamente.
A NVIDIA caracteriza esses riscos principalmente como um desafio de engenharia. A empresa afirma que a combinação das restrições de software do OpenShell com os controles independentes de hardware do Sentry deve permitir que operadores interrompam ações perigosas mesmo quando um agente tenta contornar proteções no nível da aplicação.
Fonte: HODL Press
