Visual Reward Models전문가
CriticHack: 시각 보상 모델 최적화가 잘못된 물체 실패를 성공과 함께 키운다
CriticHack은 시뮬레이터에서 과제 성공과 잘못된 물체 실패를 보상과 독립적으로 측정해, 로봇 정책 최적화가 시각 보상 모델의 의미적 오류를 증폭시키는지 평가한다. Robometer로 Diffusion Policy 전체 디노이저를 파인튜닝한 결과, 512개 평가 시드에서 과제 성공률이 10.2%p 오르는 동안 잘못된 물체 실패가 10.9%p 증가했고, 시뮬레이터의 완료 보상으로 학습하면 이런 증폭이 없었다. 이 연구는 arXiv 프리프린트다.