Manifold AI erreicht mit Agentensystem Bestwert auf RoboDojo-Rangliste
Robotik
Das chinesische Unternehmen Manifold AI hat mit seinem System WorldScape R²SI auf der Roboter-Benchmark RoboDojo im Agent Track einen neuen Höchstwert erzielt. Das System kam auf 46,58 Punkte bei einer Erfolgsquote von 39,35 Prozent und übertraf damit den bisherigen Bestwert von GPT-6 Astra, das 28,97 Punkte erreicht hatte. RoboDojo wurde im Juli von der Multimedia-Laborgruppe MMLab der University of Hong Kong zusammen mit rund zwanzig Institutionen, darunter Tsinghua und UC Berkeley, entwickelt. Die Benchmark umfasst 42 Simulationsaufgaben und 18 Aufgaben mit realen Robotern auf drei Zweiarm-Plattformen und prüft Generalisierung, Feinmotorik, Langstreckenausführung, Gedächtnis und offenes Sprachverständnis.
Laut der Meldung erreichten die bisher besten getesteten Strategien bei der Veröffentlichung von RoboDojo nur 8,80 Prozent Erfolgsquote in der Simulation und 12,8 Prozent am realen Roboter, menschliche Experten dagegen 76,03 beziehungsweise 100 Prozent. WorldScape R²SI erzielte bei der Feinmotorik 15,5 Prozent gegenüber 4 Prozent bei GPT-6 Astra, bei Langstreckenaufgaben 34,25 gegenüber 8,25 Prozent und bei der Generalisierung 35,83 Prozent, nach Angaben des Unternehmens der höchste Wert aller getesteten Systeme.
Die Grundlage ist laut Manifold AI das Framework R²SI (Recursive Robot Self-Improvement), das Ausführung, Rückschau und erneute Prüfung in einem geschlossenen Zyklus verbindet, ohne Modellwechsel oder Neutraining. Bei der Aufgabe push_T benötigte das System im ersten Durchlauf 723 statt der budgetierten 600 Schritte, nach Revision der Handlungsabläufe 596 und nach weiteren Iterationen 389 Schritte. Auf drei zuvor ungesehenen Anordnungen lag das System anschließend bei 222, 312 und 256 Schritten, jeweils innerhalb des Budgets. Ergänzend setzt Manifold AI auf kontextbasiertes Lernen (ICL) mit dem Modell WorldScape Policy 2.0, das laut Unternehmensangaben bei einer Gedächtnisaufgabe 75 Prozent Erfolgsquote erreichte gegenüber 30 Prozent bei π0.5 und 50 Prozent bei DreamZero.
Manifold AI wurde laut der Meldung vor eineinhalb Jahren gegründet. Gründer und CEO ist Wu Wei, der zuvor bei SenseTime tätig war und laut der Meldung zwei Jahre in Folge die Waymo-SimAgents-Challenge gewann.
Offen bleibt: Die Leistungsangaben zu WorldScape R²SI stammen überwiegend aus der Selbstdarstellung von Manifold AI gegenüber Leiphone und sind nicht unabhängig bestätigt.
Quelle: Leiphone neueste
