270 g連続回転脚4脚ロボットMiNI-Q、単一のオンボード学習ポリシーで直立・倒立歩行と着地回復を統合

連続回転関節を持つ270 g級4脚ロボットにおいて、単一のオンボード強化学習ポリシーが直立歩行、倒立歩行、着地回復を統合し、連続的な姿勢指令と交換可能な足形状に一般化できるか。

サブkg級4脚ロボットでは閉ループ学習制御の実装が稀であり、MiNI-Qは事前計算軌道による倒立歩行のみだった。連続回転関節は±πで観測が不連続になり、質量270 gではシミュレーションの積分レジームで努力モードと位置モードの挙動が乖離する。ベルト駆動のバックラッシュ、I2C接続のデュアルマイコン、足形状の製造ばらつきが実機転移を困難にしていた。

従来のMiNI-Qは倒立移動を事前計算軌道で実証し、Q8botはハードウェア導入または開ループ制御だった。学習制御ではPetoi BittleにRaspberry Pi Zero 2 Wを搭載した歩行展開があるが、連続回転脚や倒立姿勢は扱わない。有界関節4脚の挙動ファミリー手法は関節可動域内の姿勢に限定され、倒立参照を表現できない。ANYmalの回復制御は別個のポリシーを使用する。

単一の[128,128] ELU MLPポリシーをPPOで4096並列Isaac Gym環境で訓練し、2 ms物理ステップ、50 Hzポリシーレートで20,000反復する。8関節トーラスT^8上の連続参照と重力条件付き変換を用い、各脚の写像I(a,b)=(π-a,-b)で倒立参照を生成する。関節角を(sinθ,cosθ)で埋め込み、観測は86次元。アクションは8関節の位置オフセットで、PD目標を毎ステップ(-π,π]にラップする。姿勢補間とリリースのカリキュラムを同時に進行させ、報酬には速度追従、姿勢一致、接地、衝突、重力符号交差、トルク制限を含む。足形状ランダム化、同定したアクチュエータモデル、MuJoCoとIsaac Labでのクロスエンジン検証、ESP32-S3とESP32-C3によるオンボード実行を組み合わせた。

ハードウェアでは同一ポリシーを5試行ずつ評価し、前方速度指令0.15 m/sに対して直立RMSE 0.037±0.004 m/s、倒立RMSE 0.050±0.003 m/sを記録した。ヨー追従は開始時にオーバーシュートと振動があるが、その後整定した。25秒間の連続姿勢変更試験を5回実施し、平均前方速度RMSEは約0.04 m/sだった。リリース回復は5条件各6試行の合計30試行中24回成功し、80%だった。足形状の転移では、訓練に含まれるRoundedが各表面で最低誤差0.041〜0.065 m/s、未学習のHex、Square、Spikeを含む12セルで中央値0.087 m/s、範囲0.055〜0.136 m/sとなり、全16通りの組み合わせで歩行した。アクチュエータ同定は名目PDベースラインの約0.49 rad RMSEを股関節0.029 rad、膝0.025 radに低減し、保持XL330で0.019 radを記録した。オンボード推論は594.33 µsで20 ms周期の約3%、RAM 150.3 kB、フラッシュ846.7 kBだった。シミュレーション切除では、統一ベースラインが直立追従0.98、倒立追従1.00、ヨー0.79、回復時間6.9 sに対し、重力条件付き参照を除くと倒立追従が0.02に低下し、周期エンコーディングを除くと0.21に低下した。投げカリキュラムなしでは回復9.7 s、離散姿勢では倒立追従0.00、足ランダム化なしでは倒立0.94、回復8.4 sだった。

評価は1台の組立品、4屋内表面、選択した姿勢、20〜30 cmのリリースに限定され、機体間ばらつき、屋外地形、大きな初期角速度は未評価である。追従誤差は指令0.15 m/sに対して大きく、リリース失敗にはアクチュエータ過電流遮断、バッテリー接点外れ、ベルト歯飛びが含まれる。アブレーションは各設計1学習のみでシード変動を定量していない。連続的エンコーディングの必要性を離散姿勢との比較だけでは確立できない。足形状ランダム化の利点は球のみのハードウェア専門家との比較をしていない。姿勢アンカーは遠いペアの同時導入が不安定でカバー範囲が限定される。コード公開の有無は論文では報告されていない。