Team um Kaiming He stellt multimodales Harness-Framework VISTA vor

Modelle

Ein Forschungsteam um Kaiming He hat in der Arbeit „VISTA: A Visual Harness for Reasoning in an Interactive World“ ein visuell-natives Harness-Framework namens VISTA vorgestellt. Es erlaubt bestehenden multimodalen Modellen, Umgebungen direkt zu beobachten, Originalbilder zu speichern und bei Bedarf erneut zu betrachten, zu vergrößern und Details zu prüfen, ohne dass das Basismodell neu trainiert werden muss. Anders als bei herkömmlichen Ansätzen, die Umgebungen in Text oder Code abstrahieren, bleibt bei VISTA die visuelle Information erhalten. Laut der Meldung kann das Modell je nach aktueller Fragestellung frühere Bildausschnitte erneut in den Kontext laden und für die laufende Argumentation nutzen.

VISTA besteht laut der Meldung aus drei Komponenten: visueller Beobachtung, verlustfreiem visuellen Gedächtnis und aktiver visueller Prüfung. Bei Tests auf dem Benchmark ARC-AGI-3 löste Claude Opus 5.0 mit VISTA alle 25 öffentlichen Spiele und erreichte bei der relativen Aktionseffizienz im Vergleich zu Menschen den vollen Wert von 100, mit 57,4 Prozent weniger Spielzügen als die menschliche Ausgangsbasis beim ersten Durchspielen. GPT-5.6 Sol schloss ebenfalls alle Spiele ab und erreichte einen Wert von 99. Zusätzlich testete das Team das Verfahren auf den Benchmarks GameWorld, AI GameStore und BabyVision. Bei GameWorld stieg die Erfolgsquote bei 170 Aufgaben von 40,0 auf 63,3 Prozent, bei AI GameStore der Gesamtscore bei 10 Spielen von 47,3 auf 140,3 Punkte, wobei der menschliche Median auf 100 normiert wurde. Bei den 39 Labyrinth- und Verbindungsaufgaben von BabyVision stieg die Genauigkeit von 41,0 auf 63,2 Prozent.

Das Framework ergänzt nach Angaben des Teams zwei Textnotizen namens GUIDE.md und WORKING.md, die wiederverwendbare Regeln beziehungsweise den Fortschritt innerhalb einer Aufgabe festhalten. Nähert sich der Kontext seiner Obergrenze, erstellt das Modell eine Übergabezusammenfassung und setzt die Arbeit in einem neuen Kontextfenster fort, wobei frühere Notizen, Aktionshistorie und visuelles Archiv erhalten bleiben. Als künftige Forschungsrichtung nennt das Team Aufgaben, die näher an der physischen Welt liegen.

Die Arbeit stammt von den drei gleichberechtigten Erstautoren Qiushi Han, Keya Hu und Linlu Qiu sowie Cathy Wu und Kaiming He. Laut der Meldung ist Qiushi Han Doktorand am MIT Operations Research Center unter Betreuung von Cathy Wu, Keya Hu Doktorandin am MIT unter gemeinsamer Betreuung von Kaiming He und Jacob Andreas und Absolventin der ACM-Klasse der Shanghai Jiao Tong University, und Linlu Qiu Doktorandin am MIT unter Betreuung von Yoon Kim und Jacob Andreas, mit früherer Forschungstätigkeit bei Google Research und Meta FAIR. Cathy Wu ist laut der Meldung Associate Professor am MIT und forscht zu maschinellem Lernen und bestärkendem Lernen in Verkehrssystemen. Kaiming He ist demnach Associate Professor mit Tenure am MIT, bekannt als Hauptautor von ResNet, Mask R-CNN und MAE, Absolvent der Tsinghua University und der Chinese University of Hong Kong, früher tätig bei Microsoft Research Asia und FAIR, seit 2024 am MIT.

Quelle: Quantum Bit