Visual Reward Models上級
CriticHackが示す視覚報酬の罠、タスク成功率上昇の裏で誤物体操作が増加
Baiduなどの研究チームは、ロボット方針最適化における視覚報酬モデルを評価するCriticHackを提案した。プレプリントである。引き出し操作でRobometerを報酬として拡散方針を微調整すると、512評価シードでタスク成功が10.2ポイント上昇する一方、誤物体失敗が10.9ポイント増加し、シミュレータの完了信号ではこの増加が起きなかった。この研究は、報酬モデルの総合的な識別精度が健全に見えても特定の意味的失敗を増幅し得ることを実証している。