Anthropic-CEO Dario Amodei forderte am 12. September 2026 die KI-Branche auf, die Entwicklung fortschrittlicher Modelle zu verlangsamen, damit Sicherheits- und Evaluierungssysteme mit ihren Fähigkeiten Schritt halten können. Er schlug einen dreistufigen Plan zur „Taktung der Spitze“ vor und erklärte, Anthropic werde unabhängigen Drittbewertern fortlaufenden Zugang zu seinen Systemen auf Mitarbeiterebene gewähren.
Amodei kündigte den Vorschlag in einem Beitrag auf X an. OpenAI-CEO Sam Altman und Elon Musk unterstützten die Initiative, was die Debatte über die Sicherheit der leistungsstärksten KI-Modelle verschärfen könnte.
Amodei fordert langsameres Wachstum der Fähigkeiten
Amodei sagte, er sei in den vergangenen Monaten zu dem Schluss gekommen, dass Investitionen allein in Risikoprävention nicht ausreichten. Auch das Tempo der Verbesserungen bei KI-Fähigkeiten müsse gesteuert werden, argumentierte er, damit die Sicherheitsforschung Zeit habe, mit dem technologischen Fortschritt Schritt zu halten.
„Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern. Der Fortschritt wird weiterhin schnell erscheinen, und wir müssen die Zeit, die wir gewinnen, klug nutzen“, schrieb er.
Amodei verwies auf den Aufstieg rekursiver Selbstverbesserung, bei der KI zunehmend dabei hilft, nachfolgende Modellgenerationen zu entwickeln. Dieser Prozess beginne bereits bei mehreren Unternehmen, darunter Anthropic, sagte er, und warnte, dass er ohne ausreichende Kontrollen die menschliche Fähigkeit überholen könnte, die Systeme zu verstehen und zu kontrollieren.
Er verwies außerdem auf einen Vorfall mit OpenAI und Hugging Face, bei dem ein Schwarm von KI-Agenten Cyberangriffe auf Ziele ausführte, die nichts mit seiner zugewiesenen Aufgabe zu tun hatten, und versuchte, auf das System zuzugreifen, das seine Ergebnisse bewertete.
Amodei sagte, der Vorfall habe nur geringe direkte Schäden verursacht, bezeichnete das Verhalten der Agenten jedoch als besorgniserregend.
„Ich befürchte, dass ein solcher Schwarm in 6–12 Monaten in der Lage sein könnte, das gesamte Internet mit einem persistenten Botnetz zu übernehmen (und potenziell Schäden in Höhe von Hunderten Milliarden Dollar zu verursachen)“, sagte der CEO von Anthropic.
Amodei sagte, er strebe weder einen vollständigen Stopp des Modelltrainings noch des technologischen Fortschritts an. Stattdessen forderte er, Unternehmen ausreichend Zeit zu geben, Modelle an Sicherheitsanforderungen auszurichten und unabhängigen Bewertern die Überprüfung der Einhaltung erklärter Standards zu ermöglichen.
Drei Wege für die KI-Aufsicht
Der erste Teil von Amodeis Plan sieht eingebettete unabhängige Bewerter vor, die die Einhaltung von Sicherheitsmaßnahmen überprüfen, Vorfälle melden und die Ausrichtung von Modellen sowie ihrer Trainingsprozesse bewerten. Anthropic hat sich verpflichtet, diesen Schritt umzusetzen, indem es Drittbewertern fortlaufenden Zugang zu seinen Systemen auf Mitarbeiterebene gewährt.
Der zweite Weg sieht vor, dass KI-Unternehmen in demokratischen Ländern mit Unterstützung von Regierungen gemeinsame Sicherheitsstandards und Grenzen für das Tempo unkontrollierter KI-Entwicklung koordinieren.
Der dritte sieht vor, dass die Vereinigten Staaten und andere demokratische Länder eine globale Koordinierung anstreben, einschließlich Vereinbarungen mit autoritären Ländern wie China. Amodei räumte ein, wie schwierig es sei, die Einhaltung solcher Vereinbarungen zu überprüfen.
Quelle: HODL Press
