Neuer Benchmark zeigt Schwächen von VLMs bei Raumänderungen

Forschung

Ein Team der Zhejiang-Universität hat mit SpaceCast-Bench einen neuen Benchmark vorgestellt, der prüft, wie gut visuelle Sprachmodelle (VLM) räumliche Beziehungen nach einer Veränderung der Szene vorhersagen können. Bei 21 getesteten Modellen lag die höchste erreichte Genauigkeit laut der Studie bei 58,0 Prozent, während Menschen im Vergleich 87,2 Prozent erreichten. Erstautoren sind Li Hongxing und Su Jinyue, korrespondierender Autor ist Shen Yongliang. Weitere Beteiligte sind Li Dingming, Zhang Wenqi, Lu Weiming, Xiao Jun und Zhuang Yueting.

Besonders auffällig: Sechs spezialisierte Raum-Modelle erreichten laut der Studie nur 25,7 bis 29,1 Prozent Gesamtgenauigkeit, nahe am Zufallsniveau von 25,9 Prozent, und schnitten damit schlechter ab als geschlossene Modelle und allgemeine offene Modelle. Der Benchmark umfasst 182 reale Innenraum-Szenen, 3862 Fragen und 16 Aufgabentypen, aufgeteilt in drei Ebenen: statische Wahrnehmung, lokale Vorhersage nach Verschiebung, Drehung oder Entfernen eines Objekts, sowie globale Vorhersage nach Drehung der gesamten Szene. Modelle wie Gemini 3.5 Flash und Qwen3.7-Plus verbesserten sich von Ebene zwei zu Ebene drei, während spezialisierte Modelle wie SenseNova-SI-1.2 und Cambrian-S-7B dort schwächer wurden.

Die Studie testete zudem, ob zusätzliche räumliche Informationen helfen. Textbasierte 3D-Metadaten verbesserten geschlossene Modelle laut der Studie im Schnitt um 30,7 Prozentpunkte, offene Modelle um 10,9 Prozentpunkte. Von generativen Bild- oder Videomodellen erzeugte Vorschaubilder der veränderten Szene brachten dagegen weniger und unregelmäßigere Verbesserungen: Bei Fehlern, die mit Qwen-Image-Edit erzeugt wurden, hingen laut der Studie 80,3 Prozent mit fehlerhafter Bildgenerierung zusammen, bei GPT-image-2 waren es 38,3 Prozent. Beim Modell Qwen3-VL-4B stieg die Genauigkeit nach einem mehrstufigen Fine-Tuning-Verfahren laut der Studie von 34,0 auf 65,7 Prozent. Die Daten stammen aus den realen 3D-Datensätzen ScanNet und ScanNet++, komplexere physikalische Interaktionen wie Verformungen oder Kollisionen wurden laut der Studie nicht simuliert.

Offen bleibt: Die Angaben stammen ausschließlich aus der Studie und dem begleitenden Interview mit dem Erstautor, eine unabhängige Einordnung der Ergebnisse liegt nicht vor.

Quelle: Leiphone neueste