人の生活動画1本で移動ロボの把持成功率80%、NYUのMoCaP

作業の実演ではなく、人がその空間で暮らす普通の動画だけで、移動マニピュレーターに物をどこで探し、手を伸ばす前にどこに立つべきかを教えられるか。

移動マニピュレーションはつかむ瞬間よりその前に失敗しやすい。視野外の物を見つけられない、腕が届かない場所で止まる、といった失敗だ。作業ごとにロボットの実演で教えるのは費用がかかり、卓上アーム向けのコーディングエージェントは家具を考えない単純な幾何規則で立ち位置を選ぶ。

CaP-Xのようなコード型方策エージェントは、言語モデルに認識、移動、把持の道具を呼ぶプログラムを書かせるが、その場で回転して探し、経験則で台車の位置を決める。CoWやApexNavのような物体探索手法はオープン語彙の検出器で未探索の境界を回り、出発前には部屋の記憶を持たない。

MoCaPはまずGPT-5.6にAria Gen 2眼鏡で撮った一人称動画を見せ、物の位置を記録する空間記憶と、人が各物をつかむ前に立っていた位置を記録する相互作用記憶を作る。実行時は閉ループのコードエージェントがこの記憶で移動し、人が近づいた側からドッキングし、衝突と逆運動学の検査を通る把持姿勢が得られる台車位置を周辺で探す。腕全体の動きはNVIDIAのcuRoboで観測した場面に合わせて計画する。同じ記憶をすべての作業で使い回す。

YORロボット（全方向台車、昇降軸、AgileX製Neroアーム2本、ZED2iカメラ、Jetson Orin NX）で、MoCaPは棚の上の箱を20回中16回、最初は見えない缶を10回中8回つかみ、いずれも80%だった。CaP-Xと衝突回避の移動を加えたCaP-X+はどちらも0%。CaP-X+は箱で20回中8回把持を試みたが、箱から0.74〜1.64m離れた位置から始めることが多く、両手法とも缶を見つけられなかった。見えない青いごみ箱を探す課題では、MoCaPが10回すべて成功し、動画の事前情報なしは7回、ApexNavは2回、CoWは0回だった。CoWは青い注意書きの付いた白いごみ箱で止まった。人の接近方向の情報を使うと、把持可能な位置に着いた割合は45回中18回から38回（40.0%から84.4%）に上がり、動画の人と反対側から出発した場合は15回中0回から14回になった。

プレプリントで、屋内1カ所、動画1本、対象物3種、条件ごとに5〜20回の試験にとどまる。著者らは汎用性ではなく実現可能性を示したとし、立ち位置効果の合算はこの標本数では統計的に有意でないと述べる。記憶は起動時に作る固定の要約で物を見落としたり古くなったりし得る。技能は持ち上げまでで、作業あたりの費用と遅延が非公表の商用言語モデル（GPT-5.6）に頼る。立ち位置実験の本文は出発点ごと5回、表は15回と数えており、表に従った。