VISTA、視触覚等変拡散ポリシーで接触リッチ操作のデータ効率を大幅改善
本研究は、視覚と触覚を球面表現に統合したワークスペース等変拡散ポリシーVISTAを提案した。8つのシミュレーションタスクで50デモのみから平均80.9%の成功率を達成し、最強ベースラインであるEquiDiff+Tacを15.9ポイント上回った。本論文はプレプリントである。
接触リッチ操作において、少数のデモンストレーションから空間的に頑健な視触覚ポリシーを学習するにはどうすればよいか。
接触リッチ操作では専門家デモの収集コストが高く、少数デモでは物体やグリッパの位置ずれに対して頑健なポリシーを学習することが難しい。既存の手法は視覚中心で触覚を十分に活用できず、ワークスペースの回転対称性を明示的にモデル化していないため、データ効率が低い。
従来の視触覚模倣学習手法（ManiFeel、VITAL、UniVTACなど）は視覚と触覚を一般的な特徴として連結するにとどまり、ワークスペースの回転対称性を考慮していなかった。ISPは視覚のみの等変ポリシーだが触覚を扱えず、EquiDiff+Tacは触覚を自明な表現として付加するのみで球面リフトや融合を行っていなかった。
VISTAは、手首RGBと触覚画像を球面トークンへ投影し、置換等変なクロスアテンションによって触覚情報を各視覚方向に注入する。融合した球面表現を球面調和係数に変換し、エンドエフェクタの回転でワークスペース座標系へ補正してから有限群等変拡散ポリシーで6DoFアクションチャンクを予測する。
シミュレーション8タスクで各50デモ、40ロールアウト評価。VISTAは平均80.9%を達成し、ManiFeel 48.8%、VITAL 43.8%、UniVTAC 21.3%、EquiDiff+Tac 65.0%を上回った。画像のみのISPは68.1%、触覚を球面に加えない融合バリアントは69.4〜74.1%であるのに対し、VISTAは80.9%。100デモでは84.7%に向上。実機3タスク（消しゴム、USB挿入、鉛筆挿入）では各10試行でVISTAは平均7.33/10、EquiDiff+Tacは1.33/10。
著者らは、ワークスペース等変性は選択した有限群に対してのみ厳密であり、任意のハンド内物体回転に対する内在的触覚等変性はないと述べた。またセンサーが剛体固定され、背景や照明が不変という仮定に依存する。実機ではモデル推論は100ms未満だが、10Hzで再計画するため触覚フィードバックが0.6〜0.8秒遅れ、過渡的な滑りを検出できない可能性がある。論文ではコード公開の有無は報告されていない。
接触リッチ操作を必要とする電子機器組立、コネクタ挿入、研磨などで、少ないデモからロバストなポリシーを学習できる可能性がある。実機での成功率はまだ限定的で、1〜3年以内に産業応用するには、高頻度触覚制御、マルチ触覚ストリーム、実環境での追加検証が必要。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。