Baidu stellt Selbstverbesserungssystem ERNIE Evolve für Wenxin-Modelle vor

Modelle

Baidu hat am 9. November erstmals Einzelheiten zu seinem System für rekursive Selbstverbesserung (RSI) veröffentlicht. Das System namens ERNIE Evolve ist laut Baidu an der Entwicklung des Modells Wenxin 5.5 Flash beteiligt. Es soll eigenständig Forschungsrichtungen vorschlagen, Experimente durchführen, Ergebnisse prüfen und Erfahrungswerte sammeln. Nach Angaben des Unternehmens erreichte ERNIE Evolve bei den Benchmarks NanoChat AutoResearch und NanoGPT Speedrun jeweils die bisher öffentlich bestätigte Bestleistung (SOTA). Das System kommt laut Baidu bereits bei der Inferenzoptimierung des bald erscheinenden Wenxin 5.5 Flash zum Einsatz.

ERNIE Evolve arbeitet laut der technischen Beschreibung mit zwei verschachtelten Schleifen und mehreren spezialisierten Agenten: Director wählt die Forschungsrichtung, Selector legt Ziel und Code-Ausgangspunkt je Experimentrunde fest, Executor ändert den Code, Evaluator bewertet Leistung und Ergebnisse, Reviewer prüft auf Abweichungen vom Ziel und auf Schwachstellen in der Bewertung. Nur Verbesserungen, die Bewertung und Prüfung bestehen, werden übernommen. Bei der Optimierung für den Kunlunxin-P800-Chip im Niedriglatenz-Szenario lief ERNIE Evolve nach Angaben Baidus rund 168 Stunden über vier Explorationsrunden und steigerte die Generierungsgeschwindigkeit auf 623,6 Prozent der Ausgangsbasis. Bei der deterministischen Inferenz-Durchsatzoptimierung erreichte das System innerhalb von drei Tagen über drei Forschungsrichtungen einen Durchsatz von 133,7 Prozent der Basis, bei im Schnitt 26 Prozent kürzerer Generierungszeit pro Token und 12 Prozent geringerer Latenz bis zum ersten Token. Bei der Optimierung der Dekodiergeschwindigkeit untersuchte das System sieben Richtungen, von denen drei zu einer Leistungssteigerung auf 114,9 Prozent der Basis führten, bei laut Baidu unveränderter Genauigkeit.

Laut dem technischen Blogbeitrag von Wenxin ist die Optimierung der Inferenz-Infrastruktur der erste Anwendungsfall von RSI in der realen Entwicklung. Der gleiche Forschungskreislauf solle künftig auf die Optimierung von Trainingssystemen, die Erforschung von Modellfähigkeiten und die Weiterentwicklung von Bewertungsverfahren ausgeweitet werden, stets innerhalb festgelegter Ziele, Rechte und Ressourcengrenzen sowie unter fortlaufender Sicherheitsprüfung und menschlicher Aufsicht. Am 5. November hatte Baidu bereits das Basismodell Wenxin 5.5 Flash Base als Open Source veröffentlicht, das laut der Meldung in mehreren Benchmark-Kategorien wie Wissen, Logik, Mathematik, Code, Mehrsprachigkeit und Langkontext die beste Leistung unter Modellen vergleichbarer Größe erzielte. Eine mit Baidu vertraute Person sagte laut der Meldung, ein neues Wenxin-Modell könne in Kürze erscheinen.

Offen bleibt: Die Angaben zu den Leistungssteigerungen stammen ausschließlich aus einem von Baidu selbst verfassten und autorisierten Beitrag, eine unabhängige Bestätigung liegt nicht vor.

Quelle: Quantum Bit RSSHub