Viability-Aware Policy Selection: Dreistufige Sicherheitswahl für Humanoid-Akrobatik

Wie kann ein humanoider Roboter während eines gestörten oder suboptimalen akrobatischen Manövers in Echtzeit entscheiden, ob er das Manöver fortsetzt, kontrolliert abbricht oder einen schützenden Fall ausführt, um Hardware-Schäden zu vermeiden?

Akrobatische Manöver wie Flips dauern nur ein bis zwei Sekunden; bei Abweichungen von der Referenz, Störungen oder Sim-to-Real-Lücken bleibt kaum Zeit zur Korrektur. Bestehende Tracking-Policys haben keinen Ausweg, sobald die Referenz verlassen ist. Bisherige binäre Umschaltungen auf eine einzige Backup-Policy sind zu grob, weil sie keinen kontrollierten Abbruch zwischen Fortsetzen und Fallen vorsehen.

Bisherige Ansätze umfassen referenzkonditioniertes Reinforcement Learning für Akrobatik, schützende Fall-Policys wie SafeFall, gelernte Shields oder Control Barrier Functions sowie binäre Übergaben an Recovery-Policys und monolithische Ende-zu-Ende-Policys. Diese berechnen entweder nur einen Sicherheitswert für eine Policy oder verschmelzen Ausführung und Recovery in einem Netz. Sie können den Schweregrad einer verlorenen Bewegung nicht auflösen und entscheiden nicht zuverlässig, wann die Aufgabe aufgegeben werden muss.

VAPS besteht aus drei spezialisierten Policys: einer eingefrorenen nominalen Tracking-Policy, einer Abbruch-Policy für eine kontrollierte Landung auf den Füßen und einer Schutzfall-Policy zur Minimierung von Kopf- und Handkontakt. Für nominale und Abbruch-Policy werden getrennte Viabilitäts-Prädiktoren trainiert, die aus propriozeptiver Historie eine diskontierte H-Schritt-Wahrscheinlichkeit für ausbleibenden Fall schätzen. Die Auswahlregel behält schrittweise die am wenigsten opfernde Policy, deren Prädiktor über einem Schwellenwert liegt. Trainiert wird mit gegenfaktischen Rollouts aus Switch-States, die unter der eingefrorenen Nominal-Policy unter Domänen-Randomisierung gesammelt wurden. Evaluation erfolgt in Simulation auf einem Unitree G1 mit Frontflip und auf einem LimX Oli mit Sideflip, inklusive realer Hardware.

Für die Spezialisten erreicht die Nominal-Policy auf dem Unitree G1 bei Domänen-Randomisierung der Stärke 4 nur 15,0 % Manövererfolg und 62,0 % Kopfkontakt, während die Abbruch-Policy in 62,0 % der Fälle wieder in einen Stand kommt und die Schutzfall-Policy in 96,0 % den Kopf freihält. Der VAPS-Prädiktor erreicht auf gehaltenen Rollouts eine Episodengenauigkeit von 97,5 ± 1,5 %, eine Fallerkennung von 91,7 ± 5,1 % und eine mittlere Vorlaufzeit von 0,416 ± 0,042 s gegenüber 0,316 ± 0,063 s beim besten SafeFall-Baseline. Im geschlossenen Regelkreis senkt VAPS mit voller Hierarchie auf dem G1 die Kopfkontaktrate von 27,7 % auf 1,6 %, die Handkontaktrate von 36,6 % auf 8,8 % und die Fallrate von 37,9 % auf 26,1 % bei nahezu gleichem Manövererfolg (59,6 % versus 62,1 %). Auf dem LimX Oli sinkt die Kopfkontaktrate von 15,5 % auf 1,1 % und die Handkontaktrate von 19,3 % auf 4,8 %. In der Hardware-Validierung mit dem LimX Oli erreicht die Abbruch-Policy in 17 von 19 Versuchen den Stand, die Schutzfall-Policy schützt in 12 von 16 Versuchen Kopf und Hände, und die volle VAPS-Hierarchie erfüllt in 15 von 18 Versuchen das Ziel der gewählten Spezialistin. Gegenüber Ende-zu-Ende-RL (24,0 % Kopfkontakt) und destillierten Studenten (bester 10,1 % Kopfkontakt) dominiert VAPS die Pareto-Front aus Erfolg und Kopfkontakt.

Die Evaluation umfasst nur einen Frontflip in Simulation auf dem Unitree G1 und einen Sideflip auf dem LimX Oli; die realen Versuchszahlen sind klein (13 Prädiktorversuche, 18 VAPS-Versuche, 19 Abbruchversuche, 16 Schutzfallversuche). Die Schwellenwerte werden empirisch gewählt, eine formale Sicherheitsgarantie wird nicht berichtet. Eine Code-Veröffentlichung oder ein Begutachtungsvermerk ist im Paper nicht berichtet.