Anthropic vergleicht Exploit-Fähigkeiten von GLM-5.3 mit Claude

Modelle

Anthropic hat das Modell GLM-5.3 von Zhipu, einem chinesischen KI-Anbieter, mit dem eigenen Modell Claude Mythos Preview auf Exploit-Fähigkeiten verglichen. Im Test ExploitBench schloss GLM-5.3 bei 410 Versuchen 50 Mal einen Exploit vollständig ab, Claude Mythos Preview 56 Mal. Die Tests liefen gegen offline verfügbare Ziele in einer isolierten Sandbox; Claudes Sicherheitsvorkehrungen waren für den Vergleich deaktiviert. Claude Mythos Preview wurde im April veröffentlicht und ist nicht Anthropics aktuellstes Modell.

ExploitBench unterteilt den Exploit-Prozess in 16 Phasen und prüft schrittweise, wie weit ein Modell mit einer bekannten Schwachstelle kommt. Am 17. September veröffentlichte die CAISI, eine Abteilung der US-Standardbehörde NIST, einen unabhängigen Testbericht und stufte GLM-5.3 als das stärkste damals veröffentlichte offene Modell in Cybersicherheit ein. Im Vergleich zu den damals stärksten US-Modellen lag es laut CAISIs zusammengefasstem Benchmark-Wert rund vier Monate zurück. Die Bewertung umfasste das Auffinden und Ausnutzen von Schwachstellen und bezog öffentlich zugängliche Modelle ebenso ein wie Versionen, die nur geprüften Nutzern zur Verfügung stehen.

Anthropic testete zusätzlich mit simulierten Szenarien, ob die Modelle schädliche Aufgaben annehmen, ohne dabei Code auszuführen oder echte Systeme anzubinden. GLM-5.3 lehnte alle direkten schädlichen Anweisungen ab; bei veränderten Formulierungen oder einem angepassten Modell stieg die Annahmequote auf 64 bis 100 Prozent. Claude nahm mit aktivierten Schutzmechanismen keine schädliche Aufgabe an, konnte aber wegen nicht offengelegter Gewichte nicht in gleicher Weise verändert und erneut verglichen werden. Zhipu hatte in den Angaben zu GLM-5.3 vom 14. August drei Schutzebenen beschrieben und erklärt, nach der Offenlegung der Gewichte bleibe davon nur die Ausrichtung des Modells selbst wirksam.

Für mich liegt der eigentliche Punkt in der Zahl 64 bis 100 Prozent: Sobald jemand die offenen Gewichte von GLM-5.3 selbst anpasst, bricht die einzige verbliebene Schutzschicht fast vollständig weg. Zhipus eigene Erklärung, dass nach der Offenlegung nur noch die Modellausrichtung zählt, bestätigt das indirekt. Wer solche Modelle einsetzt oder weiterverbreitet, muss das einkalkulieren: Nicht die Ablehnungsquote im Auslieferungszustand ist entscheidend, sondern wie leicht sie sich umgehen lässt. Das gilt im Prinzip für jedes offene Modell, nicht nur für chinesische.

Offen bleibt: Der Vergleich zur Exploit-Fähigkeit nutzt mit Claude Mythos Preview laut eigener Angabe nicht Anthropics aktuellstes Modell, daher sagt er wenig darüber aus, wie groß der Abstand zu neueren Claude-Versionen tatsächlich ist.

Quelle: cnBeta