Daxiao und NTU veröffentlichen offenes Weltmodell für Roboter

Das Robotikunternehmen Daxiao hat zusammen mit dem S-Lab der Nanyang Technological University das multimodale Weltmodell Puffin-World veröffentlicht und als Open Source freigegeben. Das Framework bildet physikalische, geometrische und visuelle Eigenschaften als drei native Zustände einer dreidimensionalen Welt ab und soll vorhersagen, wie sich diese Zustände nach einer Roboteraktion verändern. Zusammen mit dem Modell erscheint der Datensatz Puffin-16M mit 15 Millionen Bild-Sprache-Kamera-Tripeln und 1 Million Rotationstrajektorien. Zusätzlich veröffentlichen die Entwickler Kameraposen-Annotationen für 28 öffentliche Datensätze mit rund 44,5 Millionen Bildern. Nach Angaben der Entwickler erreicht Puffin-World auf vier Benchmarks bislang beste Ergebnisse, etwa mit einem medianen Fehler von 0,29 Grad beim Rollwinkel auf dem Datensatz Stanford2D3D.

Puffin-World reiht sich in eine wachsende Zahl chinesischer Projekte ein, die Weltmodelle nicht mehr nur für die Videoerzeugung, sondern gezielt für das Training von Robotern öffnen. Bemerkenswert finde ich, dass neben dem Modell auch die komplette Datenbasis inklusive Kamera-Annotationen für 28 bestehende Datensätze freigegeben wird. Das erleichtert es anderen Teams, eigene Simulationsumgebungen für Embodied AI aufzubauen, ohne die aufwendige Annotation selbst wiederholen zu müssen.

Offen bleibt: Alle Leistungswerte und Vergleichsergebnisse stammen aus dem eigenen technischen Report der Entwickler, eine unabhängige Bestätigung liegt nicht vor.

Quelle: iFanr Kurzmeldungen