SkeleWAM、ロボットと物体のスパース3D骨格表現でLIBERO-Plus全体成功率85.9%

ロボットと物体の相互作用に必要な幾何情報をスパースな3D骨格として明示的に表現することで、少ないパラメータで環境変化に堅牢な操作方策を学習できるか。

既存の世界行動モデルは未来状態を映像や視覚潜在表現として予測するが、相互作用の幾何学が暗黙的であり、制御に無関係な外観情報を保持するため、計算コストが高く、環境変化への頑健性が不十分である。

従来は WorldVLA、UniVLA、Fast-WAM、Cosmos-Policy などが映像生成や視覚潜在予測を行動学習と組み合わせていた。しかし、これらの表現はロボットと物体の空間的配置や相対運動を陽にパラメータ化せず、外観情報が残るため、制御に必要な幾何情報の抽出が非効率だった。

SkeleWAM は、現在のRGB-D観測とロボット固有受容感覚から、ロボット関節位置、物体中心、物体の接触点をノードとするスパースな3D骨格をオンラインで構築する。物体ランドマークは固定された事前学習済み知覚ネットワークで推定し、ロボット関節は順運動学で計算する。この骨格を幾何トークンとして符号化し、フローマッチングに基づく行動生成と未来骨格予測を共有の世界エキスパートで同時学習する。推論時には未来骨格予測を省略し、現在骨格と言語指示から行動を直接生成する。さらに、確率的な行動サンプルから中央値的な軌道を選択する Medoid Action Consensus（MAC）を補助戦略として導入した。

LIBERO-Plusベンチマークの全体成功率は85.9%（パラメータ57.1M）で、最強の観測ベースラインである Cosmos-Policy の82.2%を3.7ポイント上回った。カメラ摂動では93.4%と Cosmos-Policy より17.6ポイント高く、言語、背景、ノイズの各摂動でも観測ベースで最高の89.1%、96.0%、93.9%を記録した。レイアウト摂動は66.6%にとどまり、π0.5 の84.1%を下回った。特権的なシミュレータ座標を用いた SkeleWAM (sim-state) は全体87.7%（パラメータ51.4M）で、観測ベースとの差は1.8ポイントだった。実世界ではARX R5ロボットとRealSenseカメラを用いた5タスク各20試行で平均89%を達成し、Cosmos-Policy の87%、Fast-WAM の83%、π0.5 の76%を上回った。アブレーションでは、物体中心と接触点の併用が85.9%と中心のみ82.3%、接触点のみ77.7%を上回り、未来骨格予測の追加が85.9%と行動のみ80.1%から5.8ポイント改善した。MACはK=3で85.9%となり、K=1の84.2%より高いが、K=5では85.2%、K=10では84.1%と単調には向上しなかった。

著者らは、レイアウト摂動に対する成功率が66.6%と低く、スパースな幾何情報だけでは空間的配置の大幅な変化に対する汎化に限界があると述べている。特権的なシミュレータ座標でもレイアウト成功率は69.0%であり、視覚的な物体位置推定以外の要因も影響する。実世界評価は5タスク、各20試行、単一のARX R5ロボットに限定され、より多様な環境や長期運用での性能は報告されていない。また、物体ランドマーク推定は固定された事前学習済み知覚ネットワークに依存し、未知物体や動的環境への適応には追加の学習が必要である。