UniWALM：アマゾンの世界-行動-言語モデル、実機の器用な把持で95%、記憶課題で61%

映像と行動を予測するロボットモデルに言語生成も学ばせると操作は向上するか。モデルは自分の書いた文章を記憶として使えるか。

将来の映像と行動を同時に予測する世界行動モデルは短い操作に強いが、明示的なタスク状態を持たない。ボタンを何回押したか、物をどこに隠したかといった過去に依存する課題では破綻する。

従来は映像行動モデルに別の視覚言語モデルやプランナーを付け足し、推論と実行を別段階で回していた。遅延が増え、段階間で判断が食い違うおそれもある。

UniWALMは映像モデルWan2.2を土台にした混合トランスフォーマーの1つの本体に、映像、行動、言語をまとめる。モダリティごとに拡散ヘッドを持ち、3つを同じパスで同時にノイズ除去するため、行動を出しながら次のサブタスクと累積メモを書き、次のステップでそれを読み戻す。補正付きフローマッチングという学習で乱れた行動からの復帰を学ばせ、LoRAで微調整を軽くした。言語部分は約5億パラメータで、言語と行動の部分はゼロから学習した。

シミュレーションのMolmoSpacesで課題ごと分布外1000エピソードを評価し、Pick&Place 68.0%、Pick&Place-Color 70.8%、Pick&Place-NextTo 38.8%と履歴付きMolmoBot（66.5%、67.8%、26.4%）を上回り、同じ本体のFastWAMより平均14.8ポイント高かった。把持だけのPickでは49.2%でMolmoBotの64.0%に届かなかった。段階的な検証では成功率が31.0%から言語追加で35.9%、補正学習で38.9%、LoRAで41.0%に上がった。RMBenchのボタン押し記憶課題は10万ステップ学習後に51%（FastWAMは0%）。フレキシブのRizonアーム2台にSharpa WaveかPaxiniのハンドを付けた実機では、キューブの移し替え95.0%（次点80.0%）、容器を空にする課題50.0%（FastWAMと同率）、記憶課題61.1%（18回）だった。

実機試験は小規模（器用操作は各20回、記憶課題は18回）で信頼区間が広い。言語部分を使うと32ステップの行動生成に123ミリ秒かかり、使わない場合の76ミリ秒より遅く、高周期制御には足りない可能性がある。ステップ制限の厳しい単純把持では劣る。著者は完了信号のずれ、似た場面でのサブタスク誤判断、複雑形状の把持精度を失敗要因に挙げた。査読前のプレプリントである。