ByteDance-Team erklärt Leistungsschwankungen von KI bei langen Texten

Forschung

Das Seed-Team von ByteDance hat in einer neuen Studie den technischen Grund für Leistungsschwankungen großer Sprachmodelle bei sehr langen Texten beschrieben. Nach Angaben der Forscher liegt die Ursache in einer "Phasenempfindlichkeit", die durch komprimierte Zwischenspeicherung von Schlüssel-Wert-Daten (KV-Cache) entsteht. Diese Technik reduziert den Speicherbedarf beim Verarbeiten langer Kontexte, indem sie zusammenhängende Token-Fenster mit festem Schritt zu weniger Einträgen zusammenfasst.

Laut der Studie führt die Komprimierung eine neue Positionskoordinate ein, die Phase eines Tokens innerhalb der Kompressionsfenster-Grenze. Experimente zeigten, dass die Abrufgenauigkeit bei identischen Informationen je nach Phase stark schwankt. Bei einigen großen Open-Source-Modellen habe diese Phasendifferenz laut der Meldung zu einem Unterschied in der Abrufgenauigkeit von bis zu 40 Prozentpunkten geführt.

Die Forscher sehen darin eine Grenze klassischer Durchschnitts-Benchmarks. Ein guter Mittelwert könne periodische Schwächen verdecken, die im Testalltag nicht auffallen. Die Studie soll laut der Meldung als theoretische Grundlage für künftige Architekturoptimierungen und eine stabilere Langkontext-Inferenz dienen.

Für mich zeigt die Studie vor allem, dass Durchschnitts-Benchmarks für Langkontext-Modelle wenig aussagen. Wer Modelle anhand eines einzelnen Scores vergleicht, übersieht möglicherweise genau jene Schwachstellen, die in der Praxis zählen, etwa wenn ein Dokument ungünstig in die Kompressionsfenster fällt. Das betrifft weniger die Modellentwickler, die das Problem ja selbst beschreiben, sondern eher jene, die Benchmarks entwerfen oder Kaufentscheidungen auf Basis solcher Scores treffen. Ich würde erwarten, dass künftige Test-Suiten phasenabhängige Abrufszenarien einbauen, statt nur Durchschnittswerte zu melden.

Offen bleibt: Die Meldung nennt keines der betroffenen Open-Source-Modelle namentlich, wodurch sich die Angabe von bis zu 40 Prozentpunkten Unterschied nicht überprüfen lässt.

Quelle: AIbase News