AdaTempo、デモの相対テンポを学習しロボット操作を最大3.57倍に高速化
AdaTempoは、複数の遠隔操作デモに共通する相対的な速さの分布を教師信号として、模倣学習ポリシーの実行を加速するオフライン手法である。デモを位相整合し、相対テンポの合意を連続的な加速プロファイルへ変換して学習軌道を再サンプリングする。シミュレーション5タスクと実機6タスクで最大3.57倍の高速化を達成し、成功率と速度のトレードオフを改善した。本論文はプレプリントである。
デモ自体から、タスクの進行段階に応じた加速配分を直接学習できる相対テンポの構造を抽出できるか。
遠隔操作デモは遅く慎重になりがちで、模倣学習ポリシーはその保守的な実行タイミングを継承する。一方、一様な加速は位相ごとに異なる加速耐性を無視するため、重要中間状態の欠落、閉ループ状態分布の変化、制御器の追従不能を招く。
既存手法には、実行時に行動チャンクを可変間隔で進めるSAIL、強化学習で速度選択を学ぶSpeedTuning、代理生成ポリシーで条件付き行動エントロピーを推定し区間ごとにダウンサンプリングするDemoSpeedupなどがある。これらは補助モデル、環境との相互作用、あるいは実行時の追加機構に依存し、デモから直接位相依存の加速信号を得るものではなかった。
AdaTempoは、デモ間で共通する相対テンポ構造を自己教師的に抽出する。各デモの連続動作量から正規化累積弧長を計算し、進行正則化付きDTWでデモを標準位相に整列する。位相ビンごとにエピソード内で相対テンポをランク化し、デモ間の中央値とMADから合意と信頼度を求める。これを連続的な加速プロファイルへ写像し、前方窓によるソフト最小値と非対称な変化率制限で平滑化する。仮想時間再サンプリングにより元のデモを加速軌道へ変換し、ACTやDiffusion Policyを通常通り学習する。実行時にはテンポ選択や再計画の追加機構を必要とせず、高ゲインの低レベル制御のみを用いる。
シミュレーションではALOHA MuJoCoとrobomimicの5タスクをACTまたはDiffusion Policyで学習し、各手法3シード、各100ロールアウトで評価した。AdaTempoは平均成功率75.5%、平均SOD2.83倍を達成し、DemoSpeedupは成功率68.1%、SOD2.86倍だった。Diffusion PolicyのCanタスクでSOD3.57倍、Liftで成功率100%のままSOD3.28倍を記録した。実機ではAgileX ALOHAの6タスクを各30試行で評価し、総合成功率77.8%でACTの58.3%、DemoSpeedupの56.7%を上回り、平均完了時間はACT比2.02倍高速だった。Conveyor Fastでは成功率29/30、平均3.2秒を達成し、ACTの2/30、6.9秒から大幅に改善した。
相対テンポは経験的な手がかりであり、最大実行可能速度の直接推定ではない。共通する遠隔操作の癖が影響する可能性があり、無関係な停止、曖昧な対応、質的に異なる戦略を含むデモでは単一のメドイドと合意が不十分になり得る。加速上下限はタスク固有で、検証ロールアウトによる選定が必要である。再サンプリングは物理的限界を除去できず、高ゲイン制御は正式な安全性保証を与えない。学習したテンポは展開時に固定され、オンラインで変化する条件に適応できない。
遠隔操作デモを用いた模倣学習を導入するロボットメーカーやシステムインテグレータは、既存のACTやDiffusion Policyの学習前にオフライン前処理としてAdaTempoを適用できる。実行時の追加モジュールが不要なため、現在のデプロイ工程に組み込みやすい。ただし実運用には、タスクごとの加速上下限の選定、十分な数の一貫したデモ、高ゲイン低レベル制御の安全性評価が条件となる。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。