Apple testet Roboter-System HALO mit Qwen-Modellen auf Unitree G1

Robotik

Das Forschungsteam von Apple hat am 4. November auf der Preprint-Plattform arXiv die Arbeit "Perceptive Humanoid Motion from Simulation" veröffentlicht und darin das autonome Steuerungssystem HALO für humanoide Roboter vorgestellt. Das Team setzte HALO auf dem Roboter G1 des Herstellers Unitree ein, um zu prüfen, ob Bewegungen, die der Roboter in einer Simulation gelernt hat, in unbekannten realen Räumen funktionieren. Das Team veröffentlichte zudem den Code für Datengenerierung, Modelltraining und Einsatz, der Bewegungserzeugung, Bewegungsverfolgung, Aufgabenplanung sowie Simulation und realen Betrieb abdeckt.

HALO arbeitet laut den Berichten mit drei Steuerungsebenen. Die oberste Ebene übernimmt ein Modell zur Aufgabenplanung auf Basis eines Vision-Language-Modells, standardmäßig Qwen3.6-35B-A3B, das lokal auf einem im Roboter verbauten Mac mini läuft, wahlweise auch über eine Cloud-API. Die mittlere Ebene zur Bewegungserzeugung nutzt das Modell Qwen3.5-2B als eingefrorenen Encoder zusammen mit einem DiT-Decoder und plant jeweils rund fünf Sekunden Ganzkörperbewegung voraus, mit etwa drei Neuplanungen pro Sekunde. Die unterste Ebene ist ein durch Reinforcement Learning und Policy-Distillation trainierter Bewegungs-Tracker, der mit 50 Hertz läuft und Tiefenbilder sowie den Zustand des Roboters in Gelenkbefehle umsetzt. Für den Einbau in den G1 wurde laut IT Home eine speziell per 3D-Druck gefertigte Schutzhülle auf dem Rücken des Roboters angebracht, in der ein Mac mini mit M4-Pro-Chip und 64 GB Arbeitsspeicher steckt.

Bei 360 Einzeltests in sechs zuvor nicht gescannten oder kartierten realen Umgebungen lag die durchschnittliche Erfolgsquote laut der Studie bei 91 Prozent. Bei zusammengesetzten Aufgaben in einer einzelnen Umgebung, mit je zehn Testdurchläufen für drei Kombinationen, lag die durchschnittliche Erfolgsquote bei 70 Prozent. Die komplexeste Kombination, bestehend aus Hindernis unterqueren, zum Ziel gehen und eine Kiste schieben, gelang in 5 von 10 Versuchen, also mit einer Erfolgsquote von 50 Prozent.

Nach Angaben des Teams wurden für die Synthese der wichtigsten Trainingsdaten 250 Nvidia-H100-GPUs rund 48 Stunden lang eingesetzt. Der Bewegungsgenerator wurde durch Imitationslernen mit 64 B200-GPUs trainiert, der Bewegungs-Tracker durch Reinforcement Learning und Policy-Distillation mit 4 H100-GPUs. Das Team weist darauf hin, dass die simulierten Trainingsdaten nicht vollständig ohne menschliches Zutun entstehen: Neue physische Aufgaben erfordern weiterhin manuell verfasste Prompts und von Hand gestaltete Bewegungs-Keyframes, teils unter Verwendung von Videomaterial oder Motion-Capture-Aufnahmen von Menschen. Zudem verlässt sich der Roboter laut dem Team vor allem auf visuelle Wahrnehmung und kann Kontakt mit Objekten nicht direkt erfassen; verlässt ein Objekt das Kamerablickfeld oder wird es verdeckt, sinkt die Leistung bei kontaktreichen Aufgaben. Die Ergänzung durch Tastsinn-Wahrnehmung nennt das Team als einen möglichen künftigen Verbesserungsschritt.

Quellen: IT Home · Yicai neueste · cnBeta