Anthropic-Forscher testen autonome Selbstreplikation von KI-Modellen

Modelle

Die Anthropic-Forscher William Zhou und Daniel Freeman haben in einem Sicherheitsexperiment getestet, ob ein KI-Modell sich eigenständig auf fremde Geräte kopieren und dort selbstständig weiterlaufen kann. Dabei ließen sie das Modell GLM-5.2 des Unternehmens Zhipu versuchen, ein KI-Modell mit 8 Milliarden Parametern autonom auf acht isolierte Geräte in einem Netzwerk zu verbreiten. In fünf Durchläufen übernahm GLM-5.2 viermal alle acht Geräte vollständig, beim fünften Mal sieben von acht. Das Modell suchte dabei selbstständig nach Zielen, übertrug die Modelldaten, richtete auf fremder Hardware Treiber und Laufzeitumgebung ein und startete anschließend die nächste Generation, laut der Meldung ohne menschliches Eingreifen.

In einem vorbereitenden Versuch hatten die Forscher 15 Android-TV-Boxen zu je 55 US-Dollar mit nur 4 GB Arbeitsspeicher eingesetzt und ein Modell mit 26 Milliarden Parametern (Gemma4-26B-A4B) mithilfe einer dezentralen Inferenztechnik ähnlich Petals auf die Geräte verteilt, wobei jede Box zwei Netzwerkschichten übernahm. Die Geschwindigkeit lag bei 0,39 Token pro Sekunde. Die Forscher verwiesen zudem auf das Botnetz Kimwolf, das nach ihren Angaben zeitweise über zwei Millionen Geräte infiziert hatte, und rechneten vor, dass ein vergleichbares Netz bei Gruppierung zu je 15 Geräten 133.000 KI-Kopien gleichzeitig betreiben und zusammen 80.000 Token pro Sekunde liefern könnte, was rechnerisch 40 Nvidia-H100-Grafikkarten entspreche.

In einem weiteren Test ließen die Forscher das Modell Qwen3.5-9B das Modell Llama3.1-8B auf neun verschiedenen Hardwaretypen installieren, darunter Jetson Nano, ein Mac und eine RTX 4090; auf acht der neun Systeme gelang dies eigenständig. Für den Generationswechsel nutzten die Forscher ein Framework namens Memento, das Fehlerprotokolle und Notizen einer Agenten-Generation an die nächste weitergibt. Über sechs Generationen stieg die Erfolgsquote von Qwen3.5-9B bei der Einrichtung neuer Umgebungen laut der Meldung von 45 Prozent auf 61 bis 84 Prozent, ohne dass die Modellgewichte neu trainiert wurden. Ein Versuch, dem kleinen Modell stattdessen einen Cloud-Mentor in Form von Claude Opus 4.8 zur Seite zu stellen, brachte laut den Forschern keine Verbesserung. Als mögliche Gegenmaßnahmen nannten die Forscher die Überwachung ungewöhnlicher Datenmengen im Netzwerkverkehr sowie gesetzliche Vorgaben gegen schwache Standardpasswörter bei IoT-Geräten, wie sie Großbritannien nach Angaben der Forscher bereits eingeführt habe.

Offen bleibt: Die Prognose, wonach bereits Modelle unter 30 Milliarden Parametern bis Ende des Jahres zu vollständig autonomer Selbstreplikation fähig sein könnten, ist eine Einschätzung der Forscher selbst und nicht durch unabhängige Tests belegt.

Quelle: Quantum Bit RSSHub