Huawei erklärt, wie Kirin 9050 ein 30-Milliarden-Modell lokal betreibt

Chips

Huawei hat am Mittwoch Einzelheiten dazu veröffentlicht, wie die Kirin-9050-Serie ein KI-Modell mit 30 Milliarden Parametern direkt auf dem Gerät ausführt, ohne Internetverbindung. Die neue Da-Vinci-Neural-Processing-Unit des Chips nutzt dafür Low-Bit-Quantisierung und koordiniert Speicher und Rechenleistung, um das Modell auf einem Smartphone laufen zu lassen.

Das Modell arbeitet nach dem Mixture-of-Experts-Prinzip und aktiviert dabei jeweils rund 2 Milliarden Parameter gleichzeitig. Diese Zahl hatte Huawei bereits bei seiner Chip-Vorstellung im Oktober genannt. In dieser Woche beschrieb das Unternehmen zusätzlich, wie derselbe Prozessor Funktionen wie das Vorlesen von Bildschirminhalten durch KI und das Umblättern von Seiten per Blicksteuerung unterstützt.

Für mich zeigt das, wohin sich die Arbeitsteilung zwischen Cloud und Gerät verschiebt. Wenn ein Smartphone-Chip ein 30-Milliarden-Parameter-Modell lokal ausführt, auch wenn nur ein Bruchteil davon pro Anfrage aktiv ist, sinkt der Druck, für solche Funktionen eine Serveranbindung vorauszusetzen. Das betrifft vor allem Anbieter von KI-Assistenzfunktionen auf Geräteebene, die bisher auf Cloud-Modelle angewiesen waren und nun mit On-Device-Lösungen konkurrieren müssen.

Offen bleibt: Die Angaben stammen ausschließlich von Huawei selbst, unabhängige Messungen zu Geschwindigkeit oder Genauigkeit des On-Device-Betriebs nennt die Quelle nicht.

Quelle: TechNode