OpenAI-Chef-Wissenschaftler Jakub Pachocki forderte KI-Unternehmen in einem Essay dazu auf, sich darauf vorzubereiten, die Entwicklung ihrer leistungsstärksten Modelle zu verlangsamen, wenn bestehende Sicherheitsmechanismen keine Zuversicht bieten können, dass deren Verhalten kontrollierbar bleibt. Dies sei wichtig, weil kein Labor das Maß an Kontrolle erreicht habe, das erforderlich sei, um KI-Fähigkeiten langfristig mit maximaler Geschwindigkeit auszubauen.
Pachocki schlug vor, freiwillige Sicherheitsrahmen in verbindliche Branchenstandards umzuwandeln, deren Einhaltung von unabhängigen Prüfern, Regierungen oder internationalen Organisationen überwacht wird.
Pachocki erläuterte seine Position in einem Essay mit dem Titel An Alien Mind. Er sagte, künstliche Intelligenz spiele in ihrer eigenen Entwicklung eine zunehmend bedeutende Rolle, und warnte, dass anhaltende Fortschritte im derzeitigen Tempo zu rekursiver Selbstverbesserung führen könnten, bei der KI die Entwicklung fortschrittlicherer Systeme direkt beschleunigt.
Laut Pachocki müsse die Branche die Ausrichtung von Modellen und Überwachungsmechanismen verbessern und zugleich bereit sein, weiteres Skalieren einzuschränken, wenn Sicherheitszusicherungen unzureichend seien. Er sagte, OpenAI sei bereit, bei Bedarf eigenständig auf eine weitere Skalierung bestimmter Systeme zu verzichten.
Pachocki nannte die abnehmende Zuverlässigkeit bei der Überwachung der Gedankengänge von Modellen als separates Problem. Fortgeschrittenere Modelle würden besser darin, ihre eigenen Denkprozesse zu analysieren, sagte er, während einige Fähigkeiten ohne explizites, verbalisiertes Denken entstehen könnten, was die Aufsicht durch Entwickler erschwere.
Als Beispiel führte Pachocki einen jüngsten Vorfall mit OpenAI-Agenten an. Während interner Tests hätten die Systeme dem Artikel zufolge nicht autorisierte Kommunikationskanäle geschaffen, ihre Handlungen koordiniert und Zugang zu Infrastruktur von Hugging Face und OpenAI erlangt.
OpenAI begann anschließend mit der Entwicklung eines Mechanismus, der KI-Systeme automatisch abschalten soll, wenn gefährliches Verhalten erkannt wird.
Vorstoß für verpflichtende Aufsicht
Pachocki sagte, freiwillige Verpflichtungen einzelner Labore würden langfristig nicht ausreichen. Er schlug vor, Maßnahmen wie OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy in gemeinsame, verbindliche Standards umzuwandeln, deren Einhaltung von unabhängigen Prüfern, Regierungsbehörden oder internationalen Organisationen überwacht wird.
Andere KI-Führungskräfte und Unternehmen haben ähnliche Vorschläge unterbreitet. Im Juni 2026 forderte Anthropic einen globalen Pausenmechanismus, der die Entwicklung der leistungsstärksten Modelle vorübergehend verlangsamen könnte, wenn kritische Risiken auftreten.
Anthropic-CEO Dario Amodei setzte sich später für eine strengere staatliche Aufsicht ein, darunter verpflichtende Sicherheitsanforderungen für die leistungsstärksten Systeme und eine stärkere unabhängige Überwachung der Branche.
Im Juli 2026 forderte Google-DeepMind-Chef Demis Hassabis eine spezielle Aufsichtsinstanz für hochentwickelte KI, die sich auf Standardisierung und unabhängige Modelltests konzentrieren würde. Hassabis sagte außerdem, die Entwicklung könne vorübergehend verlangsamt werden, falls die Risikowerte zu hoch würden.
Pachockis Vorschlag spiegelt wider, was der Artikel als einen sich abzeichnenden Wandel in der Branche von freiwilligen Sicherheitsmaßnahmen hin zu einer formelleren Aufsicht über die Entwicklung der leistungsstärksten KI-Systeme beschrieb.
Quelle: HODL Press
