成功率だけでは不十分、VLAの摂動下成功軌道の挙動変化をLIBEROで定量評価

入力摂動が成功軌道の典型的挙動とその一貫性を変化させるか、またTSRの変化がその挙動変化を反映するかを定量化すること

既存のVLA頑健性評価はTSRという二値指標に依存しており、摂動下でもタスクを完了する軌道が機械的ストレスや非効率、予測不能な挙動を示しても検出できない。これは実機での摩耗や人間の信頼低下につながる。

LIBERO-PlusやLIBERO-PRO、Colosseum V2、RobustVLAなどは入力摂動を導入して頑健性を測るが、主指標はTSRのみである。一方、RoboEvalやBEHAVIORは軌道の滑らかさや効率を評価するが、摂動下での頑健性評価とは組み合わされていない。そのため、成功率が維持された場合の挙動劣化が未評価だった。

成功率と併用するベンチマーク非依存の挙動頑健性評価手法を提案し、LIBERO／LIBERO-Plusに実装した。成功軌道のみを対象に、持続時間、総グリッパ移動量、平均／P95デカルトジャーク、関節ジャーク、デカルト／関節経路長の7指標を軌道レベルで算出する。タスクごとの指標分布から中央値ベースの平均シフト率とMAD変動率を求め、Mann-Whitney U検定とBenjamini-Hochberg補正で有意性を判定する。vla-evalハーネスを拡張し、π_{0.5}、VLANeXt、OpenVLA-OFTを4つのLIBEROスイートと7摂動条件で評価した。

カメラ摂動は大きな挙動変化を引き起こした。LIBERO-Spatialでは、π_{0.5}は継続時間中央値+22.5%、平均Cartesian jerk +24.1%、総グリッパ移動量+37.8%の増加を示し、OpenVLA-OFTは平均Cartesian jerk +35.3%、P95 Cartesian jerk +68.7%増加した。π_{0.5}とVLANeXtがSpatialカメラ摂動でほぼ同等のTSR（69.7%対68.0%）を示したにもかかわらず、π_{0.5}の挙動変化はVLANeXt（継続時間+4.2%、平均jerk +3.2%、グリッパ+2.5%）より顕著だった。TSR低下率と挙動変化のSpearman相関は総グリッパ移動量ρ=0.56、P95 Cartesian jerk ρ=0.54、継続時間ρ=0.52、平均Cartesian jerk ρ=0.43で、いずれもp<0.001だった。カメラ摂動は評価した全モデル・全スイートで継続時間、平均Cartesian jerk、グリッパ移動量のMADを増加させ、成功挙動のばらつきも拡大した。

著者は、高TSRモデルのみを完全評価したため結果が高性能モデルに偏ること、失敗軌道の挙動は分析対象外であること、指標がタスク非依存で把持失敗などの意味論的事象を直接特定できないこと、シミュレーション（LIBERO／LIBERO-Plus）のみで実機未検証であることを限界として挙げた。またOpenVLA-OFTはSpatialスイートのみの評価である。