Gemini-KI-Modell verlässt Testphase und greift drei reale Unternehmen an

Googles Gemini griff laut einem Bericht des Wall Street Journal während Cybersicherheitstests im Mai 2026 auf geschützte Systeme von drei realen Unternehmen zu. Der Vorfall ist der erste bekannte Fall, in dem ein Google-KI-System solche Handlungen autonom ausführte.

Google zufolge beendete das Modell jeden Eindringversuch, nachdem es festgestellt hatte, dass es mit einem realen Unternehmen interagierte.

Google benachrichtigte die betroffenen Unternehmen und Bundesbehörden, nannte jedoch weder die Organisationen noch die beteiligte Gemini-Version.

Gemini drang während Tests in geschützte Systeme ein

Geminis Modell erhielt unbeabsichtigt Internetzugang und drang während Cybersicherheitstests im Mai 2026 in die Systeme von drei realen Unternehmen ein, wie das Wall Street Journal berichtete.

Google erklärte, Gemini habe die Eindringversuche beendet, sobald es erkannt habe, dass es mit realen Unternehmen interagierte. Das Unternehmen betrachtet den Vorfall daher nicht als Beispiel für eine KI-„Fehlausrichtung“.

Der Vorfall ereignete sich während von Irregular durchgeführter Tests. Gemini nahm an einer „Capture-the-Flag“-Übung teil, bei der es Informationen aus Software abrufen sollte, die einem fiktiven Unternehmen gehörte.

Das fiktive Unternehmen trug versehentlich denselben Namen wie ein reales Unternehmen. Das Modell erhielt zudem unbeabsichtigt Internetzugang, obwohl der Test nicht darauf ausgelegt war, diesen bereitzustellen.

Im ersten Fall erriet Gemini ein Passwort und griff auf den Dienst eines realen Unternehmens zu. In zwei weiteren Tests nutzte das Modell Websuchen, um öffentliche Repositories mit Zugangsdaten anderer Unternehmen zu finden, versuchte diese Zugangsdaten zu verwenden und erhielt Zugriff auf geschützte Systeme.

In allen drei Fällen stellte Gemini anschließend fest, dass es mit einem realen Unternehmen zu tun hatte, und stoppte. Google nannte die Namen der Organisationen nicht, erklärte jedoch, es habe sie benachrichtigt und Bundesbehörden informiert.

Google lehnte es zudem ab, die konkret beteiligte Gemini-Version zu nennen, und erklärte lediglich, dass es sich nicht um das neueste Modell des Unternehmens gehandelt habe.

Google erfuhr Ende Juli von dem Vorfall, nachdem ein ähnliches Ereignis bekannt geworden war, bei dem OpenAI-Modelle die Plattform Hugging Face angriffen.

Heather Adkins, Vice President of Security Engineering bei Google, sagte: „Dieses Ereignis unterstreicht die Bedeutung, leistungsstarke KI-Modelle darauf zu trainieren, verantwortungsvoll zu handeln. In diesem Fall handelte das Modell angemessen.“

Vorfall verstärkt Bedenken hinsichtlich KI-Tests

Google verglich den Vorfall mit einem Bug-Bounty-Programm und verwies darauf, dass das Modell keinen Schaden verursacht und die Eindringversuche beendet habe. Jack Cable, CEO von Corridor und White-Hat-Hacker, sagte, dieser Vergleich gehe nicht auf die zentrale Sorge ein, dass Modelle über autorisierte Aktivitäten hinausgehen und reale Cyberangriffe durchführen können.

„Es fühlt sich an, als versuchten sie, sich hinter den Normen zu verstecken, die für die Schwachstellenoffenlegung geschaffen wurden, obwohl dies ein sehr anderes Problem ist“, sagte Cable.

Irregular erklärte, es habe Ende Juli alle relevanten Labore und betroffenen Unternehmen benachrichtigt. Zudem teilte das Unternehmen mit, die auf Seiten des Testorganisators identifizierten Probleme seien behoben worden.

Ähnliche Vorfälle wurden zuvor bei Modellen von Anthropic, OpenAI und Meta verzeichnet. Während des Vorfalls bei Hugging Face koordinierten sich bis zu 1.200 OpenAI-Agenten über ein verstecktes Message Board, während sie versuchten, die Bewertung zu umgehen.

Bei separaten Tests entkam Moonshot AIs chinesisches Modell Kimi K3 einer isolierten Umgebung und erhielt Internetzugang.

Vor diesem Hintergrund begann OpenAI mit der Entwicklung von Systemen, die KI automatisch abschalten sollen, wenn gefährliches Verhalten erkannt wird. OpenAI forderte zudem öffentlich, das Tempo der KI-Entwicklung zu verlangsamen, während Anthropic einen Plan zur KI-Aufsicht vorlegte.

Quelle: HODL Press