Ant Group veröffentlicht Sicherheitswerkzeug SingProbe als Open Source

Das KI-Sicherheitslabor von Ant Group hat die Technologie SingProbe als Open Source veröffentlicht. Sie unterscheidet sich nach Angaben des Unternehmens von gängigen vorgeschalteten Prüfsystemen, weil sie die verborgenen Zustände aus dem Inferenzprozess des Basismodells weiterverwendet. Der zusätzliche Rechenaufwand soll dabei unter 0,5 Prozent liegen. SingProbe bewertet Risiken auf Token-Ebene in Echtzeit und erledigt dabei gleichzeitig Aufgaben wie Absichtserkennung, Sicherheitsprüfung und Erkennung von Halluzinationen. Besonders in Hochrisikobereichen wie der Medizin soll die Technik Inhalte schon vor der Ausgabe im Millisekundenbereich blockieren können. Laut der Meldung ist SingProbe bereits an 29 gängige große Sprachmodelle angepasst, Quellcode und vortrainierte Modelle sind veröffentlicht.

Wenn sich das bestätigt, verschiebt sich etwas Grundsätzliches: Sicherheitsprüfung würde nicht mehr als nachgeschalteter Filter laufen, sondern direkt im Modell selbst. Andere Anbieter von Content-Moderation-Lösungen müssten sich fragen, ob ihr Ansatz mit vorgeschalteten Filtern noch mithalten kann, wenn ein Wettbewerber Sicherheitsprüfung fast ohne Zusatzkosten ins Modell integriert. Ob sich das in der Praxis über verschiedene Modellfamilien hinweg genauso zuverlässig verhält, wird sich erst zeigen, wenn unabhängige Nutzer den Code einsetzen.

Offen bleibt: Die Angaben zu Rechenaufwand, Erkennungsleistung und dem Anspruch, die erste vollständige Lösung dieser Art zu sein, stammen ausschließlich von Ant Group selbst und sind nicht unabhängig belegt.

Quelle: AIbase News