物体の動きだけをプログラム化する世界行動モデルPEWAM、1回のデモでLIBERO未学習タスク40/90成功

デモンストレーションから物体に起きた変化（エフェクト）だけを抽出して実行者固有の動きを捨てることで、編集可能かつ複数のロボット本体で実行可能なタスク指定インターフェースを実現できるか。

ロボットのデモンストレーションには「物体に何が起きたか」と「特定のアームがどう動いたか」の両方が記録されており、既存手法は実演者の軌道や映像を条件とするためタスクが特定の身体・把持・配置に絡みつき、編集や別ロボットへの移行、外乱への対応が困難である。

UWM、Instant Policy、ATM、Zero-WAMなどの従来手法は、デモのビデオフレーム、点群、点トラック、映像自体を条件として模倣する。これらは実演者の動きを保持するため、把持位置の変更や別アームへの転用、外乱への対応に弱い。物体運動を扱う手法でも、フロー生成と実行は別モデルやプランナに依存していた。

PEWAMはデモを物体キーポイント軌道、2つの接触点、終端状態からなる「エフェクトプログラム」に変換し、実行者情報を排除する。71.5MパラメータのDiTベースの世界行動モデルは、エフェクト、エンドエフェクタ実行、ネイティブ動作、終端状態の4ストリームを独立したフローマッチング時間で学習する。推論時はプログラムをクリーン条件として固定し、実行軌道をサンプリングする。閉ループではライブシーンから未完了部分を再解決し、ロボットが引き起こした効果のみを進捗として数えるエンゲージメントゲートを導入した。

LIBEROの未学習Goalタスクでは、1回のデモから得たプログラムで90エピソード中40（44.4%）を成功させた。同じバックボーンでゴール画像や言語条件では0、公開デモ条件付き手法は最大19だった。Meta-Worldの未学習クラスでは棚置き・掃き入れ・ビン拾いの3クラスで公開最高値を上回ったが、5クラス平均ではDAMIを下回った。RLBenchでは24タスク720エピソード中160成功（プログラムなしは108、Instant Policyは575）。編集では終端状態のシフトに対して実現配置の傾き0.71、接触点回転に対して把持回転は平均0.68の追従を示した。4つのアーム（Panda、IIWA、Kinova3、UR5e）でボウルタスクを再学習なしにそれぞれ27、24、22、16/30成功。5cmの押し外乱に対して、再解決は60試行中23成功、リプレイは6成功。実機Frankaでは人間ビデオからコンパイルしたプログラムで40試行中36成功（ゴール画像条件は22）、終端シフト10cmで各9/10、押し外乱で7/10成功した。

著者は、ほとんど物体が動かない効果（ノブ回しなど）ではプログラムの指定力が弱いこと、ポインタとゲートは把持物体向けの手動ルールであること、物体は剛体ボックスとして扱われ主にシミュレータ状態から読み取ること、デモの動作が有効な場合はコピーの方が強いこと、RLBenchでは専門手法に大きく劣ること、多くのセルは30エピソードの単一訓練で再現実験により差が変わり得ること、を限界として挙げている。また査読付き会議での採録は記載されておらずプレプリントである。