Neuromekaが接触リッチ操作向け学習反射ポリシー、仮想バネと平面とレールで訓練し実行層に
Neuromekaの研究チームは、仮想バネ、平面、レールの3つの原始的な相互作用から固有受容反射ポリシーをシミュレーションで学習し、上位制御器の下に置く凍結した実行層として使う手法をプレプリントで報告した。この反射層は力や幾何を直接観測せずに、双腕ボックス持ち上げ、ペグ挿入、表面追従で接触力を抑制し、0.02 mm公差の実機ペグ挿入では成功率を最大22%から36〜58%へ高めた。不完全な指令や形状誤差があっても接触を利用した実行を堅牢化できる点で重要である。
不完全な指令や不確かな接触形状の下で、上位指令に従いながら接触力を抑制しタスク成功率を保つ低レベル実行層を、力センサや幾何情報なしに学習できるか。
接触リッチ操作では、位置制御やハイブリッド力位置制御、直交インピーダンス制御の追従目標や剛性、力制御方向が局所的な環境拘束と一致せず、指定した押し込み深さや穴位置誤差が大きな接触力、ジャム、振動に変わる。既存の実行層はこの不一致を吸収できず、特に高剛性の位置制御では目標が物体内部に深く入り込み過大な負荷を生む。
従来は位置制御、ハイブリッド力位置制御、直交インピーダンス制御が一般的で、FORGEは許容接触力を条件とした強化学習、Zhiらは力補償付き位置報酬、Leeらは接触可否の2値モードを提案した。しかし、これらはタスク指令そのものを生成または修正するか、力制御軸や力目標値をあらかじめ与える必要があり、指令が実際の幾何とずれた場合に局所的な拘束へ適応する低レベル層としては不十分だった。
本手法は、仮想バネ、平面、レールの3つの原始的な拘束環境でPPOにより固有受容反射ポリシーを訓練し、25ステップ0.5秒の関節位置、指令誤差、エンドエフェクタ姿勢履歴とコンプライアンスモード入力から関節位置目標の残差を出力する。報酬は力射影した追従目標、FORGE由来の超過力ペナルティ、Zhiら由来の力補償位置報酬、Leeら由来のコンプライアンスモードを組み合わせる。訓練後は凍結した実行層として上位の軌道、学習ポリシー、遠隔操作の下で動作する。力計測や拘束パラメータは観測しない。
実機の双腕ボックス持ち上げでは、指令押し込み深さ7.5〜17.5 cmの全5条件で反射は持ち上げに成功し、IK+PDは17.5 cmで発散した。ハードウェアの平均関節位置追従誤差は反射で12°以下に保たれ、IK+PDでは深さとともに増大した。シミュレーションの手掌接触力は反射が全条件で訓練閾値2 N以下、IK+PDは単調増加した。実機ペグ挿入では、0.1 mm公差で反射はオフセット0 mmと2 mmで100%、9 mmで84%、IK+PDは0 mmで96%、9 mmで52%だった。0.02 mm公差では反射が36〜58%、IK+PDは最大22%で5 mmでは全滅した。平均推定接触力は反射6.3〜7.6 Nに対しIK+PDは17.4〜20.0 Nで半分未満だった。シミュレーション5シードでは0.02 mm公差で反射74.8±4.6%、IK+PDは54.6±12.4%、インピーダンスは10.4±4.3%だった。原始を1つ除いた変種は未見公差で成功率が低下した。シミュレーションの表面追従では、平坦面の接触力p95が反射7.5 N、Hybrid7.4 N、粗面では反射7.4 N、Hybrid8.7 Nだった。指令押し込み15〜45 mmで反射とHybridは10 N閾値以下を維持し、IK+PDとインピーダンスは剛性ゲインを0.25〜2倍に掃引しても反射の追従と負荷のトレードオフに達しなかった。
著者は3点を限界として挙げている。評価タスクの範囲が限られること、原始が並進の荷重と拘束のみで回転と並進の連成を扱えないこと、コンプライアンスモードの明示的入力が必要で上位が運動指令のみを出力する場合の統合が複雑になることである。加えて、実機評価は2台のロボットに限られ、ペグ挿入の力は関節トルク残差からの推定であり直接計測ではない。ボックス持ち上げの接触力もシミュレーションからの再現値である。
現在から1〜3年で、組立、研磨、拭き取り、双腕搬送など接触リッチ工程のロボット制御実行層として利用できる。特に力センサを持たない産業用アームや人型ロボットで、不完全な把持幅指令や穴位置誤差を吸収する低レベル反射として組み込みやすい。3年以上の展開には回転拘束を含む原始への拡張、モード入力なしの適応、追加タスクでの一般化検証が必要である。コードやモデル公開の記載はないため、導入には自社での再訓練と各ロボットへのシステム同定が条件になる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。