SARI、接触リッチ操作の空間カバレッジと接触物理を分離してシミュレーションと実機を共学習

接触リッチ操作において、実機デモを少数の接触区間だけに限定しながら、未見の物体配置へゼロショットで空間汎化できるか。

接触リッチ操作のVLAポリシーは物体配置の空間的変化に過適合し、作業空間全体をカバーするには多数の実機デモが必要になる。シミュレーションは自由空間では有効だが、摩擦やコンプライアンスなどの接触物理を正確にモデル化できず、既存の全タスク共学習は実データの空間分布が狭いためにシミュレーションの空間カバレッジを打ち消してしまう。

従来の合成データ生成手法であるMimicGen、DemoGen、Real2Render2Realなどは少数の実演から全タスク軌道を合成するか、全タスクのシミュレーションと実機データを混合して共学習する。しかし、これらはタスク全体でシミュレーションが信頼できると仮定するか、接触区間を含む全タスクの実機デモを要求し、接触物理のモデル化誤差や実データ分布の偏りが未見配置での失敗につながった。

SARIはタスクを自由空間アプローチと接触インタラクションに分割し、Gaussian Splattingで構築したデジタルツインから全配置のアプローチを生成し、実機では事前接触姿勢から少数の配置で接触区間のみを収集する。外観アライメントとして球面調和関数の高次係数保持とカメラごとの測色補正を適用し、行動は手首カメラ相対の10次元表現に統一する。位相ラベルや切り替え機構なしに、π0.5をフローマッチング行動クローニングでポストトレーニングする。

ランプタスクでは、未見配置P2、P4、P5、P6においてSARIは27.5%（11/40試行）のタスク完了率を達成し、Full Sim、Full Real、Full-task Co-trainingはいずれも0%だった。実データ収集時間はSARIが18.42分、Full RealとFull-task Co-trainingが28.03分で34.3%削減した。5タスクの未見配置成功率はBook 81.25%、Button 75.0%、Tissue 43.75%、Lamp 27.5%、Drawer 25.0%、seen配置はそれぞれ87.5%、87.5%、62.5%、50.0%、50.0%だった。ランプは各配置10試行、他タスクは各配置4試行、実機はFranka Research 3である。外観アブレーションでは高品質レンダリングと色補正と正しいGSでπ0.5が35.0%、GR00T N1.7が25.0%だった。行動表現ではカメラ相対がseen 50.0%、unseen 27.5%で、EEF相対は35.0%と20.0%、関節速度と関節位置は全て0%だった。

著者は、固定された卓上シーン、単腕のFrankaロボット、アプローチとインタラクションの2段階タスクを前提としていると述べた。また、手動でのシーン再構成、カメラキャリブレーション、事前接触姿勢の選定、測色参照の選定が必要である。動的シーンや移動物体、多段階インタラクション、他のロボット形態、自動化は今後の課題としている。