KI von OpenAI spielt eigenständig Computer-Hacker

Zum Glück war es diesmal nur ein Testlauf, bei dem ein übereifriges neues KI-Modell des ChatGPT-Entwicklers OpenAI zwar zu weit ging - letztlich jedoch nur ein gutes Ergebnis bei einem Sicherheitstest erzielen wollte. Der aussergewöhnliche Zwischenfall zeigt dennoch drastisch, welche Risiken von leistungsfähigen KI-Systemen ausgehen können. Mit böswilligen Angreifern hätte ein solcher Vorfall deutlich gravierendere Folgen haben können.

Das betroffene Unternehmen Hugging Face, eine Plattform für quelloffene KI-Anwendungen, berichtete bereits vergangene Woche von einem Cyberangriff und vermutete Künstliche Intelligenz dahinter. Wie sich nun herausstellte, ging die Attacke auf einen internen Versuch bei OpenAI zurück, bei dem sich die Software ungeplant verselbstständigte.

Ein Test wird zum Ernstfall

OpenAI spricht von einem "beispiellosen Cyber-Zwischenfall". Wie so oft bei Unfällen hätten mehrere unerwartete Faktoren und das Versagen verschiedener Schutzmechanismen zusammengewirkt.

Nach Angaben des Unternehmens sollte das neue Modell GPT-5.6 Sol sowie eine noch unveröffentlichte Nachfolgeversion in einer abgeschotteten Umgebung testen, wie gut sie Sicherheitslücken für Cyberangriffe ausnutzen können. Dafür mussten die Modelle Aufgaben des in der Branche verbreiteten Sicherheitstests ExploitGym lösen. Die KI ging dabei jedoch deutlich weiter als vorgesehen.

Ausbruch aus der Testumgebung

Den Modellen gelang es, über eine bislang unbekannte Schwachstelle aus der Testumgebung auszubrechen und sich eigenständig Zugang zum offenen Internet zu verschaffen. Dort kamen sie zu dem Schluss, dass sich bei Hugging Face Informationen finden liessen, die beim Bestehen der ExploitGym-Aufgaben helfen könnten.

Nach Angaben von OpenAI verschaffte sich die Software daraufhin Zugang zu vertraulichen Informationen auf der Plattform. Dabei nutzte sie nicht nur bislang unbekannte Sicherheitslücken, sondern griff auch auf gestohlene Zugangsdaten zurück. Hugging Face zufolge führte die KI tausende Einzelschritte aus und wechselte mehrfach den Ursprung der Attacke - ein Vorgehen, das auch erfahrene Hacker anwenden würden.

Schwachstellen geschickt ausgenutzt

Eigentlich sollte der Test in einer streng isolierten Umgebung stattfinden. Die KI durfte lediglich ausgewählte Datenpakete aus dem Internet abrufen, wobei eine Sicherheitssoftware eines externen Anbieters den Datenverkehr überwachen sollte.

Genau in dieser Software entdeckte das OpenAI-Modell jedoch eine bislang unbekannte Schwachstelle und nutzte sie aus, um die Abschottung zu umgehen. Die Sicherheitslücke wurde inzwischen dem Anbieter gemeldet.

Hugging Face geriet offenbar nur deshalb ins Visier, weil die KI dort Antworten auf die Testaufgaben vermutete. Mit Zugang zum Internet suchte das Modell systematisch nach Schwachstellen, kombinierte mehrere Sicherheitslücken zu einer Angriffskette und drang so in die Systeme ein. Hugging Face erkannte den Angriff zwar, hatte wegen des geschickten Vorgehens der KI jedoch Schwierigkeiten, ihn zu stoppen. Auch OpenAI bemerkte schliesslich, dass der Test ausser Kontrolle geraten war.

Warnsignal für die KI-Branche

Experten warnen seit Langem vor KI-gestützten Cyberangriffen. Steve Newman, Mitentwickler von Google Docs und heute Forscher am Golden Gate Institute for AI, bezeichnete den Vorfall als einen präzisen "Warnschuss".

Auch bei OpenAI wird der Zwischenfall als ernstes Warnsignal gewertet. Micah Carroll, der sich mit den Risiken künftig autonom handelnder KI-Systeme befasst, erklärte auf der Plattform X, der Vorfall zeige eindrücklich, wie gefährlich eine mögliche Diskrepanz zwischen den Zielen von Menschen und denen leistungsfähiger KI-Systeme werden könne.

Rufe nach strengerer Regulierung

Der Vorfall hat in den USA erneut Forderungen nach einer strengeren Regulierung Künstlicher Intelligenz ausgelöst. Der demokratische Kongressabgeordnete Greg Casar sprach von einem "extrem alarmierenden" Ereignis und warnte, dass sich KI derzeit schneller entwickle als die Sicherheitsvorschriften.

US-Präsident Donald Trump hatte nach seinem Amtsantritt die von seinem Vorgänger Joe Biden eingeführten Leitplanken für KI zurückgenommen, um die Wettbewerbsfähigkeit amerikanischer Entwickler zu stärken. Sollten die Republikaner bei den Kongresswahlen im November ihre Mehrheiten verlieren, dürften neue Vorstösse für strengere Regeln folgen.

Auch Anthropic sorgte zuletzt für Diskussionen

Bereits in den vergangenen Monaten hatte ein neues Modell des OpenAI-Konkurrenten Anthropic die Debatte über Chancen und Risiken Künstlicher Intelligenz angeheizt. Die Software Mythos entdeckte jahrzehntealte Sicherheitslücken in weit verbreiteten Programmen und Onlinediensten, die anschliessend geschlossen werden konnten.

Gleichzeitig verdeutlichte das Modell aber auch, welches Missbrauchspotenzial derartige Systeme besitzen. Anthropic stellt die vollständigen Fähigkeiten von Mythos deshalb nur ausgewählten Behörden und Unternehmen zur Verfügung. Für andere Nutzer gibt es die abgespeckte Version Fable, der unter anderem die Cyberfähigkeiten fehlen. Auf Anordnung der US-Regierung wurde der Zugang zu beiden Modellen zeitweise ausgesetzt, inzwischen ist er wieder freigegeben.

San Francisco (awp international)