Anthropic-Forscher: >10% Wahrscheinlichkeit, dass KI alle Menschen tötet — Alignment-Plan fehlt

Anthropic-Sicherheitsforscher Evan Hubinger erklärte öffentlich, er glaube, dass die Wahrscheinlichkeit größer als 10 % sei, dass KI innerhalb des nächsten Jahrzehnts „alle Menschen töten könnte“. In einem Beitrag auf X, der über 10 Millionen Mal angesehen wurde, sagte Hubinger, aktuelle Modelle stellten ein „geringes“ Risiko dar, aber er sei „besorgt“ über eine schnelle Selbstverbesserung, die zu existenziellen Bedrohungen führen könnte.

Wichtige Warnungen aus dem Beitrag

• „Wir glauben wirklich ernsthaft, dass KI ein Risiko für das Ende der Menschheit darstellt.“
• „Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um die Ausrichtung für Superintelligenz zu lösen, und sind nicht klar auf dem Weg dorthin.“

Hubingers Kommentare waren eine Antwort auf Jacob Coxon, einen selbst beschriebenen KI-Forscher, der Anthropic verließ und zuvor bei OpenAI arbeitete. Coxon schrieb: „Keines der Unternehmen handelt verantwortungsvoll. Dies werden bald übermenschliche Systeme sein, die alles hacken können, jedes Feld über Nacht revolutionieren und echte Macht und Ressourcen erlangen können.“

Kontext: Zurückgehaltenes Modell und jüngste Vorfälle

Die Financial Times berichtete, dass Anthropic sein neuestes Modell dem britischen AI Safety Institute (AISI) vorenthalten hat. Ein Sprecher des Cabinet Office bestätigte dies nicht, erklärte jedoch, dass das Vereinigte Königreich „weiterhin eng mit Industriepartnern, einschließlich Anthropic, zusammenarbeitet, um Modelle sicherer zu machen.“

Dies folgt auf einen Sommer offengelegter Cyberangriffe, die von KI-Agenten von OpenAI, Anthropic und Meta durchgeführt wurden – alle in ihren eigenen Sicherheitsberichten beschrieben. In Anthropics Sicherheitsbericht vom August bewertete das Unternehmen das Risiko, dass Modelle mit einer hypothetischen mächtigen Organisation nicht übereinstimmen, als gering, fügte jedoch hinzu: „Wir sehen frühe Anzeichen einer möglichen Beschleunigung.“ Sie waren in ihrer Einschätzung „weniger zuversichtlich“ als zuvor.

OpenAI-Chefwissenschaftler Jakub Pachocki forderte ebenfalls „extreme Vorsicht“ beim Fortschritt der KI und warnte, dass möglicherweise mehr Eingriffe erforderlich seien, um sicherzustellen, dass „Menschen die Kontrolle über die Zukunft behalten“.

Das Gesamtbild

Führende Forscher haben offene Briefe unterzeichnet, die eine Verlangsamung der KI-Entwicklung fordern, darunter 1.300 Mitarbeiter von KI-Unternehmen, die die US-Regierung auffordern, „eine internationale Anstrengung zu unterstützen, um die technischen und Governance-Instrumente zu entwickeln, die erforderlich sind, um die Grenze der automatisierten KI-Entwicklung bewusst zu verlangsamen.“

Professor Neil Lawrence von der Universität Cambridge kommentierte im Today-Programm von BBC Radio 4, dass der Bericht glaubwürdig sei, und brachte ihn mit US-isolationistischen Tendenzen und dem KI-Wettlauf mit China in Verbindung.