PhysCanvas, 시각과 촉각 함께 예측하는 월드모델로 pi0.5 실로봇 성공률 59.1%→70.8%

시각과 촉각을 함께 예측하는 학습형 월드모델이 조작 정책을 시험하고 개선할 때 실제 로봇을 대신할 수 있는지, 그리고 그 판정이 실제 결과와 맞는지를 묻는다.

실제 로봇으로 정책을 평가하고 미세조정하는 일은 느리고 비싸서 연구실들은 행동 조건부 월드모델을 시뮬레이터로 쓴다. 그러나 영상 모델은 그럴듯한 화면을 만들면서도 접촉을 틀리게 그릴 수 있어, 병뚜껑 돌리기 같은 작업에서 성공과 실패 판정을 믿기 어렵다.

논문이 비교한 WoVR 등 기존 로봇 월드모델은 행동에서 카메라 영상을 예측하고 촉각이나 작업 상태는 별도 네트워크로 다루는 경우가 많다. 화질이 좋다고 예측 결과가 실제와 일치한다는 보장은 없다.

PhysCanvas는 다시점 RGB, 촉각 이미지, 촉각 마커 변위, 작업 상태, 행동을 하나의 이미지 캔버스에 올려 모든 정보를 같은 영상 오토인코더와 사전학습 영상 모델(Wan 2.2)로 처리한다. 행동은 순기구학과 카메라 투영으로 만든 동작 이미지로 표현한다. 카메라 3대와 Xense 손끝 촉각센서 4개를 단 ARX AC One 양팔로봇의 실제 정책 실행 3805건으로 학습한 뒤, 장면 보존, 시각과 촉각의 일치, 실제 작업 결과와의 일치를 보는 고정 보상모델 3개로 후학습한다. 이렇게 만든 시뮬레이터로 폐루프 평가를 하고, GRPO 정책 업데이트에 필요한 가상 상호작용과 보상을 공급한다.

시험관 꽂기, 병뚜껑 돌리기, 블록 옮기기, 루빅큐브 조작 4개 작업(작업당 테스트 80건)에서 상태 보상 후학습으로 월드모델과 실제 성공률 간 피어슨 상관계수 평균이 0.602에서 0.885로 올랐고 모든 작업에서 개선됐다. 기본 월드모델에서 GRPO를 하자 pi0.5의 실제 평균 성공률은 59.1%에서 67.5%로, 후학습 모델에서는 70.8%로 올라 11.7%포인트 개선됐다(MEKAWIRE 계산). 플로매칭 정책은 11.2%에서 16.6%, 19.1%로 올랐다. 후학습 시뮬레이터의 추가 효과는 pi0.5 기준 블록(6.6%포인트)과 루빅큐브(10.0%포인트)에서 가장 컸다.

양팔로봇 한 기종, 촉각센서 한 종류, 작업 4개로 얻은 프리프린트 결과다. 효과는 작업마다 달라 pi0.5의 병뚜껑 성공률은 90.0%에서 86.6%로 떨어졌고, 플로매칭 정책은 시험관과 루빅큐브에서 계속 0%였다. ACT는 확산이나 플로매칭 정책을 전제한 방법이라 강화학습 실험에서 빠졌다. 상관계수는 제한된 평가 묶음에서 측정했고 보상모델도 같은 작업군으로 학습해 새 작업으로의 일반화는 검증되지 않았다.