ManiLadder、操作能力を4段階の難度で評価
プレプリントのManiLadderは、112件のロボット操作タスクを学習実験で校正した4段階の難度に整理したシミュレーション基盤である。π_{0.5}の全体成功率はタスク別学習で33.5%、全タスク共同学習で8.6%だった。ロボット構成や物体、操作技能を横断し、学習方策が到達する能力の境界を調べる用途を想定した。
統一した学習実験で難度を校正すれば、多様な操作タスクにおいて方策が解ける難度段階を安定して測定できるかが研究課題である。
慣れた把持や配置の成功率からは、精密な接触、双腕の協調、変形物体、長い動作系列への対応力を判断しにくい。場面や物体の種類を増やす評価では、こうした能力差を十分に識別できない。物体形状、初期状態、視覚条件によって、直感的な難度と実際の学習難度もずれる。
MetaWorld、RoboCasa、LIBEROなどは複数の操作タスクや環境での評価を支えてきた。LIBEROとRoboLabには難度分類があり、既存の分類研究には接触形態、部分技能の組み合わせ、手作業で定義した条件を使うものもある。ただし、物体とロボット構成が異なる複合タスクに共通の尺度を適用することは難しい。
Genesis上で112件を32群に整理し、4段階の各難度に8分類を設けた。剛体と変形物体を扱い、単腕と双腕にグリッパーまたは多指ハンドを組み合わせた。シミュレーションにはFranka Panda、LeapHand、一部のタスクにはTidyBot++を用いた。基準となるflow-matching方策は学習可能なパラメータ50Mと固定したRADIO視覚エンコーダーを備える。各タスクの実演20件から40kステップ、バッチサイズ256で学習し、5kステップごとの評価で得た最高成功率を校正に使った。形状、初期条件、知覚と協調の要求を調整して再校正した。実機実験にはX-Arm、遠隔操作用のMeta Quest 3、RealSense D435iカメラ2台を使用した。
シミュレーション112件で、π_{0.5}はタスク別学習33.5%、全タスク共同学習8.6%だった。共同学習の総学習予算は単一タスク予算の112倍である。AL@50は到達段階とそれ以下の全段階で、タスクの80%が成功率50%以上に達することを要求する。基準方策とπ_{0.5}はそれぞれAL@50が1、GPT6-Astraは0だった。AL@80は3手法とも0だった。Level-2の変形物体を扱う双腕グリッパー群では、GPT6-Astraが94.0%、π_{0.5}が30.7%で、論文が報告した差は63.3ポイントだった。Level-2の剛体タスク16件を100kステップ共同学習した実験では、タスク当たりの実演20、50、100、200件に対し成功率は21.4%、27.8%、29.6%、31.8%だった。シミュレーション評価は各タスク50エピソードである。実機評価は4段階の8タスクを対象に、それぞれ実演20件と試行50回を用いた。FoldShirtは実機40%、シミュレーション44%、BuildTentは両方0%だった。実機でも難度の順序はおおむね維持された。
難度は基準方策、実演数、学習手順に依存する。校正には学習中の最高評価値を採用し、各評価は50エピソードに限られる。多くは管理された卓上環境であり、実機検証もX-Armの8タスクに限られるため、他のハードウェアや運用条件への根拠は限定的である。GPT6-Astraには最大20回の追加探索と固有受容感覚の観測が与えられる一方、標準の模倣学習観測はRGBと指示文を用いるため、比較には学習資源の差も含まれる。総計算コストは論文では報告されていない。
ロボット学習の開発企業、操作プラットフォーム企業、評価部門は、現時点で研究上の条件をそろえた方策比較や、複数タスク学習の失敗分析に利用できる。製品の能力認定へ使うには、実際の運用条件に対応したタスク、実機検証の拡大、観測と探索予算の比較可能性が必要である。商用導入の時期は論文では報告されていない。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。