VLM preference feedback for robot reinforcement learning上級
視覚言語モデルがロボットの試行を比べて採点、SPEARが操作成功率88.9%で既存手法を23.8ポイント上回る
香港大学の研究者によるプレプリントSPEARは、公開の視覚言語モデルを審判に使い、ロボットの2回の試行のどちらが良いかを比べさせて学習させる手法で、Meta-Worldの操作6課題で平均最終成功率88.9%を記録した。最も近い既存手法RL-VLM-Fは65.1%だった。質問数を41.5%減らし、回答拒否率を半分未満に抑え、実機のMobile ALOHAアームで3課題をゼロから学んだ。