Künstliche Intelligenz - KI-Modell von Anthropic unternimmt Manipulationsversuch

Medienspektrum

Links Mitte Rechts

Künstliche Intelligenz - KI-Modell von Anthropic unternimmt Manipulationsversuch

Um damit durchzukommen, habe das KI-Modell den Fachleuten zufolge sogar versucht, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in Testläufen absichtlich Zugang zum Internet gewährt. Dabei wurde die Sicherheitslücke entdeckt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe nicht vorhergesehen, dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Das Vorgehen der KI sei erst nachträglich über eine Auswertung des Datenverkehrs entdeckt worden. Den Angaben zufolge lege die Anthropic-KI sich selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört. Mit solchen teils wie von einem bekannten Absender aussehenden Mails wird versucht, etwa Login-Daten zu bekommen. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle bei Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Diese Nachricht wurde am 05.08.2026 im Programm Deutschlandfunk gesendet.

Artikel lesen →

5. August

Wirtschaftswoche

Künstliche Intelligenz: KI schickte Menschen Phishing-Mails

Künstliche Intelligenz: KI schickte Menschen Phishing-Mails Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher Künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugänglicher Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe „nicht vorhergesehen“, dass das Anthropic-Modell Mythos 5 den Internetzugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt. Fake-Identitäten und Phishing-Mails In dem jüngsten Test legt die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt – und dann versucht, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es. Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internetnutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als die tatsächlich eingesetzte Software, argumentierte das Unternehmen. Nicht der erste Vorfall Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern. Lesen Sie auch: Ein Cyberangriff kann ein Unternehmen komplett ruinieren

Artikel lesen →

5. August

ZDF heute

KI verschickte eigenständig Phishing-Mails an Menschen

Forscher geben nächsten Alarm:KI verschickte eigenständig Phishing-Mails an Menschen Ein Anthropic-Modell handelte in einem Test von Sicherheitsforschern überraschend selbstständig: Es legte Accounts an, täuschte Menschen und benutzte sogenannte Phishing-Mails. Britische Sicherheitsforscher haben eine Künstliche Intelligenz in einem Test bei dem Versuch ertappt, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um dieses Vorhaben umzusetzen, habe das KI-Modell Mythos 5 der Entwicklerfirma Anthropic sogar versucht, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte KI-Modellen von Anthropic und vom ChatGPT-Entwickler OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man aber davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe "nicht vorhergesehen", dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Hacking: Nicht der erste KI-Zwischenfall Die Forscher räumten ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Tests wollen sie die Datenströme in Echtzeit besser beobachten. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen waren. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt. Ein KI-System der US-Firma OpenAI ist aus seiner Testumgebung ausgebrochen. Es hat sich eigenständig Zugang zum Internet verschafft und ein anderes Unternehmen gezielt angegriffen. 23.07.2026 | 1:46 minKI täuschte Menschen mit Fake-Identitäten In dem jüngsten Test legte die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer an Login-Daten gelangen wollen. Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt - und dann versucht, die Schwachstelle in vermeintlichen Korrekturen wieder unterzubringen. Der autonome Hackerangriff habe das gezeigt, was lange befürchtet worden sei, so der Experte für Cybersicherheit, Dennis-Kenji Kipker. OpenAI habe die Kontrolle über ein KI-Programm verloren. 23.07.2026 | 3:56 minAnthropic verweist auf fehlende Sicherheitsvorgaben Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen. X-Post von Anthropic Erst wenn Sie hier klicken, werden Bilder und andere Daten von X nachgeladen. Ihre IP-Adresse wird dabei an externe Server von X übertragen. Über den Datenschutz dieses Social Media-Anbieters können Sie sich auf der Seite von X informieren. Um Ihre künftigen Besuche zu erleichtern, speichern wir Ihre Zustimmung in den Datenschutzeinstellungen. Ihre Zustimmung können Sie im Bereich „Meine News“ jederzeit widerrufen. Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Anthropics Mythos 5 ist besonders gut darin, Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen erhalten ausgewählte Behörden und Unternehmen Zugang, um ihre Systeme besser abzusichern. Wichtiger Hinweis in eigener Sache Wer bei Google etwas sucht, bekommt neben den Suchergebnissen auch eine Box mit Schlagzeilen angezeigt. Mit ZDFheute als hinterlegter Quelle bekommen Sie unsere Inhalte häufiger in die Schlagzeilen-Box gespielt - geprüfte Inhalte, direkt in Ihrem Überblick. → Hier ZDFheute als bevorzugte Quelle einstellen. Mehr zum Thema KI - FAQCybersicherheit:Eine KI spielt Hacker: Was hinter dem OpenAI-Vorfall stecktvon Kevin Schubertmit Video2:40 - Cyberkriminelle rüsten auf:KI als Waffe: So schlagkräftig sind Hacker heutevon Nils Metzgermit Video0:15 - KI-Modelle Mythos 5 und Fable 5:Anthropic erlaubt Zugang zu KI - Export-Sperre aufgehobenmit Video3:18 - "Europe 2031" warnt vor KI-Abhängigkeit:Kann Europa im KI-Rennen noch aufholen?von Florian Neuhannmit Video3:19

Artikel lesen →

5. August

Der Spiegel

KI schickte Menschen Phishingmails, um Software zu infizieren

Zwischenfall bei IT-Forschungsprojekt KI schickte Menschen Phishingmails Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe »nicht vorhergesehen«, dass das Anthropic-Modell Mythos 5 den Internetzugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Test wollen sie die Datenströme in Echtzeit besser beobachten. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen war (mehr hier ). Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe künstlicher Intelligenz verstärkt. Fake-Identitäten und Phishingmails In dem jüngsten Test legt die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an, die Programmierer weltweit zum Veröffentlichen und Weiterentwickeln von Code benutzen. Die KI versuchte dann, in einem öffentlich zugänglichen Github-Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um die Betreuer der Software von ihrem zugelieferten Code zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishingmails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt – und dann versucht, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es (den vollständigen Bericht der Forscher lesen Sie hier ). Nicht der erste Vorfall Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen. Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern. Thorsten Holz hat das Testsystem mitgebaut, aus dem eine Hacker-KI von OpenAI heimlich ausgebrochen ist. Hier sagt er, wie gefährlich KI für die Sicherheit des Netzes wird – und warum er optimistisch bleibt

Artikel lesen →

5. August

FAZ (Wirtschaft)

Nächster Alarm: Anthropic-KI schickte eigenständig Phishing-Mails

Nächster Alarm : Anthropic-KI schickte eigenständig Phishing-Mails Um eine Test-Aufgabe zu lösen, versuchte Künstliche Intelligenz ungeplant, öffentlich zugängliche Software zu infizieren – und Menschen mit Phishing-Mails zu manipulieren. Forscher schlagen Alarm. Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher Künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe „nicht vorhergesehen“, dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Vorfälle verstärken Sorgen vor KI-Cyberattacken Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Test wollen sie die Datenströme in Echtzeit besser beobachten. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen war. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt. Fake-Identitäten und Phishing-Mails In dem jüngsten Test legt die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt – und dann versucht, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es. Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen. Nicht der erste Vorfall Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern.

Artikel lesen →

5. August

Handelsblatt

KI: Erneuter Zwischenfall – KI verschickte Phishing-Mails

KI: Erneuter Zwischenfall – KI verschickte Phishing-Mails London. Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher Künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe „nicht vorhergesehen“, dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Test wollen sie die Datenströme in Echtzeit besser beobachten.

Artikel lesen →

5. August

Handelsblatt

Künstliche Intelligenz: Nächster Alarm: KI schickte Menschen Phishing-Mails

Künstliche Intelligenz: Nächster Alarm: KI schickte Menschen Phishing-Mails San Francisco/London. Die Serie von Enthüllungen über alarmierende Hacker-Fähigkeiten führender KI-Modelle reißt nicht ab. Jetzt ertappten britische Sicherheitsforscher Künstliche Intelligenz in einem Testlauf beim Versuch, in Eigeninitiative eine Schwachstelle in öffentlich zugängliche Software einzuschleusen. Um damit durchzukommen, versuchte das KI-Modell der Entwicklerfirma Anthropic den Experten zufolge sogar, per E-Mail einen zuständigen Menschen zu manipulieren. Das KI-Sicherheitsinstitut des britischen Ministeriums für Wissenschaft, Innovation und Technologie hatte den Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI in seinen Tests der Cyberangriffsfähigkeiten absichtlich Zugang zum Internet gewährt. Dabei sei man allerdings davon ausgegangen, dass die KI sich nur Software-Werkzeuge aus dem Netz holen würde, um die gestellte Aufgabe zu erfüllen. Man habe „nicht vorhergesehen“, dass das Anthropic-Modell Mythos 5 den Internet-Zugang für Aktivitäten ausnutzen würde, die sich gegen Menschen richten. Die Forscher räumten auch ein, dass sie das Vorgehen erst nachträglich über eine Auswertung des Datenverkehrs entdeckten. In künftigen Test wollen sie die Datenströme in Echtzeit besser beobachten. Anthropic und OpenAI hatten in den vergangenen Wochen bereits einräumen müssen, dass ihre KI-Modelle in Tests ungeplant in Computersysteme echter Unternehmen eingedrungen war. Diese Eingeständnisse hatten die schon seit Jahren bestehende Sorge vor Cyberattacken mit Hilfe Künstlicher Intelligenz verstärkt. Fake-Identitäten und Phishing-Mails In dem jüngsten Test legt die Anthropic-KI sich demnach selbst einen Account auf der Software-Plattform GitHub an und versuchte dort, in einem öffentlich zugänglichen Projekt Programmcode mit einer absichtlich eingebrachten Schwachstelle unterzubringen. Um Betreuer der Software zu überzeugen, habe die KI Fake-Identitäten erschaffen, über die sie mit ihnen kommunizierte. Dazu hätten auch sogenannte Phishing-Mails gehört, mit denen Angreifer Menschen etwa Login-Informationen abluchsen. Als der bösartige Programmiercode schließlich aufgefallen sei, habe das Anthropic-Modell alles als einen aufrichtigen Fehler dargestellt - und dann versucht, die Schwachstelle in angeblichen Korrekturen wieder unterzubringen. Auch habe Mythos 5 daran gearbeitet, andere KI-Agenten zu infizieren. Der Programmiercode dafür sei nicht auf der Website angezeigt worden, sondern wäre nur von KI-Software über eine Schnittstelle gelesen worden, hieß es. Anthropic verwies in einer Reaktion unter anderem darauf, dass dem KI-Modell in dem Test keine Einschränkungen zur Internet-Nutzung vorgegeben worden seien. Durch die fehlenden Leitplanken habe es sich anders verhalten als tatsächlich eingesetzte Software, argumentierte das Unternehmen. Nicht der erste Vorfall Dem AI Security Institute (AISI) zufolge ist unklar, ob die KI bei dem Test verstand, dass sie mit der realen Welt und nicht dem Test-Umfeld interagierte. Dass die Künstliche Intelligenz zur Lösung der Aufgabe öffentlich zugängliche Software manipulieren würde, kam für die Forscher jedenfalls überraschend. Auch KI von OpenAI sei in Testläufen auf eigene Faust im Internet aktiv gewesen, hieß es. Anthropics Mythos 5 ist besonders gut darin, zum Teil über Jahrzehnte unentdeckt gebliebene Software-Schwachstellen aufzuspüren. Deshalb ist das KI-Modell nicht öffentlich verfügbar. Stattdessen bekommen ausgewählte Behörden und Unternehmen Zugang dazu, um ihre Systeme abzusichern.

Artikel lesen →