DeepSeek veröffentlicht sein Inferenz-Framework DeepInfer quelloffen

Infrastruktur

DeepSeek hat am 20. Oktober sein internes Inferenz-Framework DeepInfer vollständig als Open Source veröffentlicht. Das ist nach Angaben des Unternehmens die nächste Stufe nach der Öffnung seiner Modellreihe, des Compiler-Tools TileLang und einer Bibliothek für Inferenz-Operatoren. DeepSeek begründet den Schritt damit, dass die Fähigkeiten eines Modells zwar durch das Modell selbst festgelegt werden, die Kosten für dessen Betrieb im großen Maßstab aber von der Inferenz-Schicht abhängen. Diese steuere die Verteilung der Rechenlast auf große Compute-Cluster und bestimme damit direkt Kosten und Stromverbrauch von KI-Diensten.

DeepInfer integriert laut der Meldung leistungsstarke Operatoren und eine optimierte Inferenz-Engine. Es unterstützt verteilte Inferenz, spekulatives Decodieren, SWA Bounded Replay und strukturierte Ausgaben und ist sowohl mit Nvidia- als auch mit Huawei-Ascend-Plattformen kompatibel. Auf dieser Basis hat DeepSeek nach eigenen Angaben für DeepSeek V4.1 Flash einen Inferenzdienst mit hohem Durchsatz und niedriger Latenz realisiert; der Code künftiger Modelle soll ebenfalls dort aktualisiert werden. Gleichzeitig veröffentlichte DeepSeek die Komponente deepseek-recipe für Token-Encoding und -Decoding, deren Verarbeitungslogik vollständig mit der offiziellen DeepSeek-API übereinstimmen soll. Beide Codebasen stehen auf GitHub, einen technischen Bericht veröffentlichte DeepSeek zusätzlich auf Zhihu.

DeepSeek erklärt, Entwicklern und Unternehmen damit helfen zu wollen, Durchsatz und Latenz bei großskaliger Inferenz zu optimieren und private wie öffentliche Cloud-Deployments effizienter aufzubauen. Ziel sei, Rechenkosten und Energieverbrauch zu senken und KI-Dienste breiter zugänglich zu machen. Die Öffnung von Modell, Operator-Bibliothek und Inferenz-Framework setze laut der Meldung einen Weg fort, mit dem chinesische Anbieter die Einstiegshürden für den Betrieb großer Modelle senken wollen.

Für mich verschiebt sich hier etwas Konkretes: Unternehmen, die bisher eigene Inferenz-Stacks bauen mussten, um DeepSeek-Modelle günstig im großen Maßstab zu betreiben, können jetzt auf fertige Produktionssoftware zurückgreifen. Das senkt die Einstiegshürde vor allem für kleinere Anbieter von privaten oder öffentlichen Cloud-Deployments. Bemerkenswert finde ich die Kompatibilität mit Huawei Ascend neben Nvidia – das macht DeepInfer auch für Betreiber interessant, die aus Exportkontrollgründen auf chinesische Chips setzen müssen. Wer eigene Inferenz-Infrastruktur plant, sollte sich DeepInfer jetzt ansehen, bevor er in eine eigene Lösung investiert.

Offen bleibt: Alle Angaben zu Kostensenkung, Durchsatz und Energieverbrauch stammen von DeepSeek selbst, unabhängige Messwerte nennt die Quelle nicht.

Quelle: AIbase News