Xiaomi MiMo-V3 bekommt neue Architektur mit HySparse2

Modelle

Xiaomi MiMo-V3 wird eine neue Architektur erhalten, wie der Leiter des MiMo-Teams, Fuli Luo, mitteilte. Die Kern-Technologie HySparse2 soll die Kosten langer Kontexte senken und die Abrufleistung für agentische Arbeitslasten verbessern. Bei einer Kontextlänge von einer Million Token reduziert HySparse2 die Prefill-Berechnung um das 5,02-fache und den KV-Cache um das 4,5-fache.

Quelle: TechNode