world models for dexterous manipulation上級
知覚と予測と計画を一つに:一人称の器用な操作のための統合ワールドアクションモデルP3-WAM
このプレプリントは、一人称動画から3Dの手の動きを読み取り、指定した手の動きの後の場面を予測し、テキスト指示だけで動作と結果の映像を同時に計画する単一の動画モデルP3-WAMを構築した。3つの能力をまとめて学習させるとそれぞれが向上し、公開データセット4種で専用モデルを上回ったが、ロボットへの適用はまだオープンループの実演2例にとどまる。