Pekinger Team stellt HIL-UMI für robotisches Nachtraining vor

Forschung

Ein Team der Peking-Universität und des Robotikunternehmens Qiyuan hat ein Verfahren namens HIL-UMI vorgestellt, das Nachtraining für Roboter-Modelle ohne den Einsatz eines physischen Roboters ermöglichen soll. Das teilte Dong Hao, Chefwissenschaftler bei Qiyuan, laut der Meldung mit. Die Arbeit ist als Paper auf arxiv veröffentlicht und verfügt über eine eigene Projektseite. Hintergrund ist laut der Meldung, dass das sogenannte Nachtraining von Robotermodellen bislang auf teure Daten von echten Maschinen angewiesen war, etwa über das Verfahren HG-DAgger, bei dem ein Operator einen Roboterarm überwacht und bei Fehlern eingreift.

HIL-UMI kombiniert laut der Beschreibung eine von Menschen bediente Greifvorrichtung mit einem im Hintergrund mitlaufenden Modell. Während eine Person reale Aufgaben wie Wäschefalten oder Tischaufräumen ausführt, sagt das Modell parallel vorher, welche Aktionen es selbst wählen würde. Weicht die Vorhersage des Modells stark von der menschlichen Aktion ab, markiert das System die Stelle als Lücke und fordert eine zusätzliche Demonstration an. Laut der Meldung nutzt das System dafür zwei Komponenten: eine Erkennung von Abweichungen anhand eines sogenannten Energy Score sowie einen Schätzer, der bewertet, ob eine Aktion die Aufgabe tatsächlich voranbringt.

In Tests an vier Aufgaben mit einem realen Roboterarm – Wäschefalten, Tischaufräumen, Würfelstapeln und Stempeln – stieg der durchschnittliche Aufgaben-Fortschrittswert (TPS) bei gleichem Datenbudget mit klassischem SFT-Finetuning nur von 44,3 auf 58,0. Mit dem HIL-UMI-Verfahren erreichte der Wert laut der Meldung 94,8, bei Würfelstapeln und Stempeln wurden 100 Punkte erzielt. Bei der Aufgabe Tischaufräumen benötigte das traditionelle HG-DAgger-Verfahren 412,99 Millisekunden pro brauchbarem Datenrahmen, HIL-UMI dagegen 73,40 Millisekunden, was laut der Meldung einer 5,63-fach höheren Sammeleffizienz entspricht.

Dong Hao wird mit der Einschätzung zitiert, Vor- und Nachtraining seien keine feste Verhältnisgröße, sondern lösten sich stufenweise ab, ähnlich wie bei AlphaGo der Übergang von Imitationslernen zu selbstgeneriertem Verstärkungslernen. Laut der Meldung ist in Vorbereitung ein Interview mit Dong Hao, der zugleich außerordentlicher Professor an der Peking-Universität ist, zu akademischen und industriellen Aspekten verkörperter KI.

Offen bleibt: Die Angaben stammen allein aus der Darstellung des beteiligten Teams und des Fachmediums, eine unabhängige Bestätigung der Testergebnisse liegt nicht vor.

Quelle: Leiphone neueste