RoboCasa-Shift、NVIDIAのGR00T N1.5は強いぼけで成功率73.8%から0%に
復旦大学などの研究チームはプレプリントでベンチマークRoboCasa-Shiftを示し、NVIDIAのロボットモデルGR00T N1.5はシミュレーションの長い家事4課題で73.8%成功したが、最も強い画像ぼけでは0%に落ち、別の試験では結果の入れ替わりが相殺して実際の脆さが隠れたと報告した。軽いカメラ向き変化では成功率は変わらなかったが、対にした80回のうち8回の結果が変わった。
成功率という一つの数字で、VLA方策が条件変化でどう崩れ、長い作業のどの段階で失敗が始まるかを判断できるかを問う。
VLAの頑健性は通常、外乱前後の成功率一つで報告される。同じエピソードが失敗したのか、失敗と成功が入れ替わって相殺したのか、最初の工程で失敗したのか最後なのかが見えない。
LIBEROの派生版やRoboCasaなどは場面を変えて全体の成功率を示すが、外乱ありの実行をまったく同条件の通常実行と対にしたり、長い作業の部分目標をどこまで達成したかを追ったりすることは少ない。
RoboCasa365を土台にしたRoboCasa-Shiftは、照明、外部カメラの向き、ロボット台車の初期姿勢、ガウスぼけのうち一つだけを3段階の強さで変える。外乱ありの実行は他の条件が同じ通常実行と対にし、成功から成功、成功から失敗、失敗から成功、失敗から失敗に分類する。段階トラッカーがシミュレーター状態を読み、作業の進み具合を記録する。
研究チームの基準を通ったのはGR00T N1.5だけで、台所の長い作業4課題で条件ごとに対の80回を実行した。通常の成功率は0.738。ガウスぼけでは3段階で0.550、0.225、0に下がり（低下幅0.188、0.513、0.738）、最強段階では成功から失敗が59回、逆は0回だった。初期姿勢の変化では低下幅0.075、0.150、0.263で、シンクのすすぎ作業では0.55に達した。カメラ向きは1段階目で変化なし、2段階目0.188、3段階目は0.138と小さくなった。照明は0.012、マイナス0.025、0.025と誤差の範囲だが、2段階目で12回の結果が入れ替わった。カメラ1段階目では成功から失敗4回と失敗から成功4回がちょうど相殺した。
方策一つ、課題四つ、シミュレーションのみで、研究チームは他モデルへの一般化を主張せず実機検証もしていない。段階判定は公式アノテーションではなく検証済みのシミュレーター条件による。条件当たり80回では小さな効果の信頼区間は広い。GR00T N1.5以外に基準を通る方策がなかったこと自体が、長い作業での現在のVLAの信頼性を物語る。
NVIDIAやGR00Tを使う開発企業にとって、レンズの汚れやピントずれのような画像ぼけが有力モデルを0%にするという具体的な弱点と、代表的な成功率が不安定な挙動を隠しうることを示す。家庭や工場向けにVLAモデルを評価する国内のロボットメーカーやSIerは、単一の数字ではなくエピソード単位の対比較試験を求める根拠になる。手法はすぐ使えるが、結果は実機での確認が要る。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。