MiniMax öffnet Quellcode von M3.1 Flash mit 428 Milliarden Parametern

Modelle

MiniMax hat am 23. Oktober die Gewichte seines Modells M3.1 Flash als Open Source veröffentlicht. Das Modell hat insgesamt 428 Milliarden Parameter, davon sind 23 Milliarden aktiviert. Nach Angaben des Unternehmens verbessert M3.1 Flash die Fähigkeiten gegenüber dem Vorgängermodell M3 umfassend. Innerhalb von 72 Stunden nach dem Start hätten reale Nutzer bereits mehr als 100 Billionen Token über das Modell verarbeitet, teilt MiniMax mit.

Das Modell war bereits am Abend des 19. Oktober vorgestellt worden. Laut MiniMax steigt die Online-Inferenzgeschwindigkeit um knapp das Dreifache, die Nutzungskosten sinken um 70 Prozent. Zur Effizienzsteigerung wurden die ersten drei vollständigen Attention-Schichten durch Sparse Attention ersetzt. Über quantisierungsbewusstes Training (QAT) wurden die gerouteten MoE-Experten, mit Ausnahme der geteilten Experten, auf W4A4 migriert, der Sparse-Attention-Indexer und der Hauptzweig wurden von Q8KV8 auf Q8KV4 umgestellt. Zusätzlich kommt ein leistungsbewusstes Scheduling zum Einsatz, das die Stromzuteilung der Rechenkarten feiner steuert und so die Hardwareauslastung verbessern soll.

Für die Verbreitung des Modells arbeitet MiniMax nach eigenen Angaben mit Chipherstellern wie Huawei Ascend, Pingtouge, Kunlunxin, Moore Threads, Biren, Haiguang, Muxi, Tianshu, NVIDIA und AMD zusammen, ebenso mit den Inferenz- und Cloud-Plattformen Together AI, Fireworks, Nebius, Baseten, Modal und DigitalOcean, um einen Zugang zum Modell bereits am Tag der Veröffentlichung zu ermöglichen. Auch vLLM, SGLang, das FlagOS des Beijing Academy of Artificial Intelligence sowie Hugging Face und ModelScope sollen die Anpassung an unterschiedliche Chips, Cloud-Plattformen und Entwicklungsumgebungen vorantreiben.

Für mich liegt der eigentliche Punkt dieser Meldung nicht in der Parameterzahl, sondern in der Länge der Partnerliste. MiniMax bindet praktisch alle relevanten Chiphersteller ein, von Huawei Ascend über Moore Threads bis NVIDIA und AMD, dazu diverse Cloud- und Inferenzplattformen. Das bedeutet, wer M3.1 Flash einsetzen will, ist nicht an eine bestimmte Hardware gebunden. Für Entwickler und Firmen, die bislang zögerten, weil ein Modell nur auf wenigen Chips lief, verschiebt sich damit die Entscheidung von „welche Hardware passt zum Modell“ zu „welche Hardware habe ich ohnehin schon“. Das dürfte vor allem kleineren Anbietern helfen, die sich keine Festlegung auf einen Chipanbieter leisten wollen.

Offen bleibt: Die zentralen Leistungsangaben – verarbeitetes Tokenvolumen, Geschwindigkeitszuwachs und Kostensenkung – stammen ausschließlich von MiniMax selbst, unabhängige Belege nennt keine der Quellen.

Quellen: AIbase News · Yicai neueste