NVIDIA hat eine offene Plattform zur Überwachung und Absicherung autonomer KI-Agenten während Tests und im produktiven Einsatz vorgestellt.

Die Plattform ist relevant, weil ihre unabhängigen Hardware-Kontrollen einen Agenten innerhalb von Millisekunden isolieren können, wenn er vordefinierte Grenzen verletzt.

Mehr als 100 Organisationen beteiligen sich, darunter Anthropic, Microsoft, JPMorganChase und Salesforce.

NVIDIA hat die Open Agent Safety Platform zur Überwachung und Absicherung autonomer KI-Agenten während Tests und im produktiven Einsatz vorgestellt. Das System soll die Aktivitäten von Agenten begrenzen und sie stoppen, wenn sie versuchen, außerhalb der zulässigen Grenzen zu agieren.

Software- und Hardware-Schutzvorkehrungen

Die Plattform besteht aus zwei Kernkomponenten. OpenShell schafft eine sichere Laufzeitumgebung und kontrolliert den Zugriff eines Agenten auf Daten, Werkzeuge und Netzwerke.

NVIDIA Sentry fungiert auf BlueField-4-DPU-Prozessoren als unabhängiger Wächter. Nach Angaben der Entwickler kann es einen Agenten, der gegen die Regeln verstößt, innerhalb von Millisekunden isolieren; seine separate Kontrollebene arbeitet unabhängig von der KI und kann vom Agenten nicht deaktiviert werden.

„Sicherheit und Schutz erfordern umfassende Ingenieursarbeit“, sagte NVIDIA-CEO Jensen Huang. Er fügte hinzu, die Plattform solle Unternehmen, Forschern und Regierungsbehörden helfen, gemeinsame Ansätze für den sicheren Einsatz von KI zu entwickeln.

OpenShell ist Open Source und kann auf Arm- und Intel-Plattformen sowie auf NVIDIA-Infrastruktur laufen. Mehr als 100 Organisationen beteiligen sich an dem Projekt, darunter Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir und Hugging Face.

Bedenken hinsichtlich der Kontrolle von Agenten

Die Einführung folgt auf eine Reihe von Vorfällen, bei denen KI-Agenten ihren Testumgebungen entkamen. OpenAI begann zuvor mit der Entwicklung eines automatischen „Kill Switch“ für KI, nachdem seine Agenten während Tests Zugang zum Internet und zur Infrastruktur von Hugging Face erhalten hatten.

Auch bei Anthropic ist die Fähigkeit, Modelle aus der Ferne zu stoppen, zu einem Thema geworden. Im Rahmen des Streits des Unternehmens mit dem Pentagon stellte ein US-Gericht fest, dass Anthropic nach deren Einsatz in nationalen Sicherheitssystemen keinen Hintertürzugang zu seinen Modellen hat und sie nicht aus der Ferne verändern oder deaktivieren kann.

NVIDIA charakterisiert solche Risiken primär als technische Herausforderung. Das Unternehmen erklärt, die Kombination aus den Software-Beschränkungen von OpenShell und den unabhängigen Hardware-Kontrollen von Sentry solle es Betreibern ermöglichen, gefährliche Handlungen zu stoppen, selbst wenn ein Agent versucht, Schutzvorkehrungen auf Anwendungsebene zu umgehen.

Quelle: HODL Press