記憶モジュールでユニツリーG1の視野外課題の成功率が36.7%から88.3%に（MBZUAI）
ヒューマノイドの制御モデルに、過去に見た場面のうち必要な数枚だけを記憶させたところ、ユニツリーG1の実機6課題の成功率が36.7%から88.3%（60回中53回）に上がったと、MBZUAIの研究チームがプレプリントで報告した。ロボットは、人がどの缶に触れたかなど、すでにカメラの視野から消えた手掛かりをもとに動く必要があった。
歩行するヒューマノイドの全身VLA方策は、目標に向き直る前に見た出来事をもとに正しく動けるのか。そのためにどの過去フレームを残せばよいのかを問う。
ヒューマノイドの移動マニピュレーションは現在の観測だけでは判断できない場面が多い。ロボットが向きを変えたり歩いたりする間に物体が隠れたり動いたりし、行動を決める手掛かりが頭部カメラから消える。現在の全身VLA方策は、現在の画像と短い固有感覚の履歴しか見ていない。
GR00T、全身動作向けに調整したpi0.5、WholeBodyVLA、Psi-0などは現在の観測だけで行動する。記憶手法は主に移動しない卓上ロボットアーム向けで、均等サンプリングや検索、単純なイベントでフレームを残してきた。既存のヒューマノイド向けベンチマークは目標が常に視野内にある。
WholeBodyMemはSAM3セグメンテーションモデルを課題物体の追跡器としてのみ使う。ロボット自身のカメラ運動を除いて測った物体イベントで、可変の予算内からキーフレームを選び、行動エキスパート（拡散トランスフォーマーブロック6個）が外観、形状、時間を表す物体トークンとともにクロスアテンションで読み取る。研究チームは「何を、どこで、いつ」の記憶を試す、シミュレーション6課題と実機G1の6課題からなるベンチマークHuMeGoも公開した。
シミュレーションでは、ベース方策Psi-0の記憶課題の成功率が29.1%から72.6%に、標準のSIMPLE移動マニピュレーション課題では70.2%から86.9%に上がり、記憶を持たないInternVLA-M1、Diffusion Policy、ACT、EgoVLA、pi0.5、GR00Tや均等記憶の変種を上回った。Dex3ハンドと頭部のRealSense D435、全身制御器SONICを備えた実機G1では、課題ごとに15回の遠隔操作デモで学習し、60回中53回（88.3%）成功した。Psi-0は22回（36.7%）だった。推論はRTX 5090一枚で実行した。
著者は、一度も検出されない物体の手掛かりはSAM3が取りこぼすこと、オンライン追跡が推論コストを増やすこと、レンダリングによるシミュレーションと実機の差、シミュレーションのデモがスクリプト生成である点を挙げる。実機試験が課題当たり10回、デモ計90回と小規模で、方策がロボット外のデスクトップGPUで動き、課題が工場や家庭の長時間作業ではなく短い演出場面である点も留意が要る。
物流や小売にヒューマノイドを売り込む企業には、どの箱をすでに空けたか、人がどこを指したかといった数秒前の出来事を覚えているロボットが必要だ。結果は、文脈長を伸ばすより適切なフレームを選ぶ方が安上がりな解だと示す。G1を使う日本の大学や開発企業でも、1年以内に研究用スタックで同様の記憶モジュールが使われる可能性が高く、機体への搭載は追跡コストの削減次第だ。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。