人の動画1本でロボット学習：TDV、RLBenchで91.8%、実機UR5は78回中71回成功
清華大学深圳国際大学院と深圳の企業Zerith Roboticsは10月15日公開のプレプリントで、人が作業する動画1本からロボットを学習させるTDVが、RLBenchのシミュレーション12タスクで平均成功率91.8%に達し、従来の最高を13.4ポイント上回ったと報告した。実機のUR5アームでは、1本の実演を合成軌道50本に増やすと配置試験78回中71回（91%）に成功し、実演1本のままでは78回中26回（33%）だった。
遠隔操作データを使わず、人が作業する普通の動画1本だけでロボットは操作作業を学べるか。物体の位置、カメラの角度、背景が変わってもこなせるか。
模倣学習には遠隔操作装置で記録した実演が大量に要り、時間も費用もかかる。人の動画は安く豊富だが、ロボットの作業空間とは見た目も撮影位置も異なり、ロボットがまねできる動作ラベルも付いていない。
従来は画素変換、オプティカルフロー、生成動画を介して人の動画から学ぶか、3D Diffuser Actor、RVT2、視覚言語行動モデルOpenVLAといった画像ベースの方策をロボットの実演で学習させてきた。画像方策は背景や視点に弱く、多くはタスクごとに数十から数百のロボット実演を必要とする。
TDVは場面全体を見ず、必要なものだけを追う。既製の6D姿勢推定で、動かされる物体が基準物体に対して描いた軌道を取り出すか、手の3次元経路を2指グリッパーに置き換える。軌道には画素情報がないため、新しい開始姿勢を抽出して対応する軌道を生成すれば、1本の実演を何本にも増やせる。この軌道で学習した拡散トランスフォーマーが次の動作を出力し、実行時はリアルタイムの姿勢推定で閉ループを回し、工程の切り替えは専用の切り替え方策が担う。
RLBenchの12タスク（各100本の学習実演、3シードで各25試行）でTDVは平均91.8%を記録し、8タスクで首位、従来最良の手法を13.4ポイント上回った。ペグ挿入と形状仕分けでは20ポイント超の差をつけた。比較対象は3D Diffuser Actor、RVT2、SPOT、LoRAで微調整したOpenVLA。Robotiq 2F-85グリッパーを付けた実機UR5で、タスクごとに人の動画1本を使い、3つの物体タスクを13の位置（姿勢変化あり、なし）で試すと、実演1本では78回中26回、生成軌道15本で57回（73%）、50本で71回（91%）成功した（論文の表をMEKAWIREが合計）。初見のカメラ視点3つと背景変更4種では、6つの実機タスクが位置試験210回中204回（97.1%）、姿勢試験210回中200回（95.2%）に成功した。
査読前のプレプリントである。シミュレーションの数値は動画から得た姿勢ではなくシミュレーターの正解姿勢を使っており、動画処理ではなく軌道方策の性能を測ったものだ。実機試験はアーム1台の卓上作業で、条件ごとに5回か13回にとどまる。正確な6D姿勢追跡が前提のため、形状が複雑な物体や変形する物体には使いにくいと著者は認めている。真上に近い角度から撮った場合や、物体の色が背景と似ている場合に失敗が出た。
学習データの費用はヒューマノイドやロボットアームのメーカーにとって最大の制約であり、スマートフォン程度の動画1本を剛体のつかむ、置く、注ぐといった方策に変える手法はその費用を大きく下げる。共著者で研究資金も出したZerith Roboticsや、UR級のアームを使うインテグレーターがまず使い手になり、物流のキッティングや研究所の自動化では1〜2年以内の技術といえる。人手不足で教示作業の負担が重い日本の中小工場にも合う一方、姿勢追跡に頼るため、布、ケーブル、食品のような柔らかい物体は当面VLA企業の領域に残る。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。