記憶する双腕ロボット、UCLAのMem4Actが長い作業で成功率81.5%、pi0.5の約3倍

視覚言語行動(VLA)方策は、覆われる前のブロックの色のように数分前に見た情報を、長くなり続ける映像履歴をモデルに入れずにどう覚えられるか。

多くのVLA方策は現在のカメラ画像だけを見て動く。長い作業では、次の動作を決める情報がとうに視界から消えていることが多い。履歴をすべて入れると増え続ける画像トークンを処理するため計算が膨らみ、混乱も起きうる。キーフレームの選択やトークンの削減、言語要約で縮めると、後で重要になる細部を失うおそれがある。

従来の記憶手法は過去フレームの原本、圧縮した視覚トークン、文章の要約を保存してきた(MemER、FrameSampやTokenDropなどのMME-VLA派生、Mem-0、NativeMEM、HAMLET)。作業が長くなるほど膨らむか、時間や意味、視覚の情報を失う危険があり、方策が与えられた記憶を実際に使うよう促す仕組みもなかった。

Mem4Actは作業中ずっと更新される512トークンの固定容量の潜在記憶を持つ。3層のエンコーダが過去のフレームを32、16、8の時間窓で粗いものから細かいものへまとめる。何を覚えるかは二つの学習信号が決める。言語モデルを通じて答える過去の出来事に関する問答と、視覚の細部を残すためのキーフレームの画像特徴の復元である。学習は記憶を先に行う。方策を固定したまま記憶を事前学習し、その後行動方策と一緒に10分の1の学習率で学習させる。著者はこの方法で方策の記憶への依存が高まると示した。

作業ごとに遠隔操作の教示70本で学習したYAM双腕ロボットで、Mem4Actはブロックを覆う、入れ替える、並べ替える、戻すの各作業で78%、70%、100%、78%、平均81.5%だった。MME-VLAは42.0%、pi0.5は28.0%、Mem-0は22.5%である。GPT-6 Astraは42.5%だったが、判断1回に約19秒、成功1回に17分かかり、Mem4Actの335ミリ秒と40秒とは大差がついた。シミュレーションではRoboMMEで49.88%(最良の比較手法は44.51%)、RMBenchで61.0%(NativeMEMは48.7%)と首位で、過去の場面を複数覚える必要がある作業では41.3%対14.8%だった。容量より構造が重要で、1,024トークンは512トークンを下回る42.75%だった。

プレプリントである。実機の作業はRMBenchを移したブロックパズルで、ロボット1機種でのみ試し、記憶に入るのは頭部カメラの履歴だけだ。同じGPUで判断1回に335ミリ秒かかり、pi0.5の131ミリ秒の約2.6倍遅い。RoboMMEの全体成功率は50%に届かず、空間の物体永続性の作業は31.5%でMemER(53.2%)を下回る。比較手法の一部は著者による再実装で、GPT-6 Astraは時間制限付きのゼロショット実行のため、学習済み方策と同条件の比較ではない。