ロボットの記憶をどう検証するか、正しい履歴で成功率39.1%から74.3%に
現在のカメラ映像だけでは解けない新しいベンチマークで、ロボットが正しい履歴を参照できると課題成功率が39.1%から74.3%に上がり、常に正解を選ぶオラクルと並んだ。海南ビーレフェルト応用科学大学とミュンヘン工科大学、ベルリン工科大学によるこのプレプリントは、成功率が上がっただけではロボットの記憶が正しい事実を使っている証拠にならないことも示した。
視覚言語行動（VLA）ロボットシステムが記憶を使うというとき、保存された内容は本当に判断を左右しているのか。それをどう検証できるか。
長い作業をこなすためVLA方策に記憶モジュールを加える研究が増えているが、根拠は多くの場合、記憶のオンとオフで成功率を比べるアブレーションだ。これでは情報と計算が同時に変わり、全体の成功率は一部のエピソードの改善と別のエピソードの悪化が相殺された結果を隠しうる。
従来の記憶付きロボット方策は主に記憶バンクの有無による成功率で評価され、必要な情報が現在の観測からも見える、あるいは復元できるベンチマークが多かった。
著者らは介入型の評価手順IMEPを提案した。シードでペアにしたエピソードで、検索段階の記憶を直接書き換える。鍵となる事実の差し替え、事実を保った別の記録への置き換え、数値を最小単位だけ変える操作、完全な複製の挿入などだ。判断の正しさと動作の実行は別々に採点する。さらに、物体が入った引き出しを見た後に妨害エピソードを経て、見た目が同じ閉じた引き出しから一つを選ぶChainBenchを作った。選んだ引き出しは固定したpi0.5方策が実行する。
ChainBench（202チェーン、二択、偶然50%）では、記憶なしで判断正答率53.0%、課題成功率39.1%、記録を混ぜると51.5%と38.6%だった。完全な記憶構成は全チェーンで正解を選び100.0%、課題成功率は共有した実行記録を使うオラクルと同じ74.3%だった（35.2ポイント増、1.90倍、MEKAWIRE 計算）。学習型の記憶バンクでは、数値を最小単位だけ変える操作が導入手順を含めてペア結果の11.9%を変えたが、鍵となる事実を差し替えても事実を保った置き換え以上の明確な効果はなかった。カメラを遮ったShell Gameでは記憶読み出しの効果は4.0ポイント（73.5%対69.5%）で、事前に定めた10ポイントの基準に届かず、学習した記憶プラグインはバンクを残すと成功率が18.4%から10.2%に下がった。
プレプリントで、SimplerEnvを含む全実験がシミュレーションだ。著者らは学習型バンクの実験に判断の測定と内容の陽性対照がなく、小さな事実特異的効果は判別できず、チェックポイントや実装をまたぐ汎化も未確認だと認めている。ChainBenchの完全な記憶構成は選別した最新記録を使い、判断時に言語モデルを呼ばないため、74.3%は正しい履歴が役立ちうることを示すにとどまり、実際に配備された記憶システムがそれを実現する証拠ではない。
長い作業向けのVLA製品を開発する企業、たとえばフィジカルインテリジェンスのpi0.5を使うチームや、記憶機能を加える物流ロボットや家庭用ロボットのメーカーにとって、供給元の主張を確かめる手順になる。記憶のオンとオフの成功率だけでなく、事実の差し替えと複製の対照結果を求めればよい。人手不足を背景に長時間作業の自動化を進める日本の現場でも使える評価基準で、1～2年の時間軸では新機能より調達と研究のための評価標準に近い。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。