Inferact lässt Kimi K3 auf Google-TPUs schneller laufen als auf Nvidia-GPUs

Chips

Die Recherche-Firma Inferact hat mit einem selbst entwickelten Inferenz-Kernel namens Megakernel das Sprachmodell Kimi K3 von Moonshot AI auf Google-TPUs schneller zum Laufen gebracht als auf Nvidia-Hardware. In einem Vergleichstest mit 16 TPU v7 Ironwood gegen 16 Nvidia GB200, beide mit derselben vLLM-Inferenz-Engine und demselben Modell, erreichten die TPUs 709 Token pro Sekunde, die GB200 kamen auf 452 Token pro Sekunde. Das entspricht laut der Meldung einem Geschwindigkeitsvorteil von 57 Prozent für die TPUs. Zum Einsatz kam zusätzlich das von DeepSeek stammende Beschleunigungsframework DSpark, das mit spekulativem Dekodieren arbeitet. Der Code ist nach Angaben von Inferact offen zugänglich.

Ohne spekulatives Dekodieren, also bei reiner Rohgeschwindigkeit, lag die TPU bei Batchgröße 1 bei 249 Token pro Sekunde gegenüber 127 bei der GB200, bei Batchgröße 8 bei 865 gegenüber 636. Bei einem Test mit dem Modell Qwen 3.8 27B auf vier TPU v7 erzielte Inferact 1515 Token pro Sekunde, dieselbe Konfiguration mit GB200 kam auf 695. Die Genauigkeit blieb laut Inferact unverändert: Der GPQA-Diamond-Wert von Kimi K3 lag auf der TPU bei 94,4 Prozent, GSM8K bei 97,2 Prozent, identisch zu den GPU-Ergebnissen. Dabei liegt die Speicherbandbreite der GB200 mit 8000 GB/s laut den Angaben sogar über der der TPU v7 mit 7380 GB/s.

Der Geschwindigkeitsvorteil stammt laut Inferact aus der Software-Ebene. Die Megakernel-Technik fasst die rund 92 einzelnen Rechenschritte der MoE-Architektur von Kimi K3 in ein einziges Programm zusammen, wodurch Leerzeiten beim Wechsel zwischen einzelnen Kernen entfallen und Daten für die nächste Schicht bereits während der Berechnung der aktuellen Schicht aus dem Hauptspeicher geladen werden können. Möglich wird dies laut der Meldung durch die 64 MiB großen VMEM-Speicherbereiche pro TensorCore der TPU v7, deren Belegung Software direkt steuern kann, während der vergleichbare Speicher bei Nvidias Blackwell-Architektur mit rund 38 MiB über 152 Streaming-Multiprozessoren verteilt und hardwareseitig verwaltet wird. Inferact schrieb den Megakernel in der Sprache Pallas statt im Standard-Compiler XLA zu nutzen, wodurch sich die Kompilierzeit von über 30 Minuten auf unter 90 Sekunden verkürzt habe.

Inferact wurde im November vergangenen Jahres gegründet, das Team besteht laut der Meldung größtenteils aus den ursprünglichen Entwicklern des Inferenz-Frameworks vLLM, das mehr als 500 Modellarchitekturen unterstützt und über 2000 Beitragende zählt. CEO Simon Mo war ursprünglicher Maintainer von vLLM, Mitgründer Woosuk Kwon entwickelte den PagedAttention-Algorithmus, Chefwissenschaftler You Kaichao leitete bei vLLM die verteilte Inferenz. Das Unternehmen sammelte in diesem Jahr eine Seed-Finanzierung von 1,5 Milliarden US-Dollar bei einer Bewertung von 800 Millionen US-Dollar ein, angeführt von a16z und Lightspeed, mit Beteiligung von Zhenge Fund, Sequoia und Altimeter. Die Megakernel-Entwicklung entstand laut der Meldung aus einer gemeinsamen Ingenieursarbeit mit Google Cloud mit dem Ziel, TPUs als vollwertig unterstützte Hardware in vLLM zu etablieren.

Offen bleibt: Die Angaben stammen ausschließlich aus dem Blogbeitrag von Inferact, einer der beiden getesteten Parteien; eine unabhängige Überprüfung der Benchmark-Ergebnisse liegt nicht vor.

Quelle: Quantum Bit