GRASP: 물리 기반 손실과 시각 쿼리로 양팔 로봇 VLA 성공률 64%에서 79%로

관절 각도를 바로 출력하는 VLA 정책을, 로봇에서 실제로 중요한 그리퍼 끝 위치와 두 팔 사이 상대 자세를 기준으로 학습시키고 손과 물체가 만나는 지점에 시선을 두게 만들 수 있는가. 그것도 배치 단계 비용을 늘리지 않고 가능한가를 묻는다.

관절 각도를 출력하는 정책은 실행 중 역기구학 계산이 필요 없지만, 학습 손실은 모든 관절 오차를 똑같이 취급한다. 어깨 관절의 작은 오차는 손목의 같은 오차보다 그리퍼를 훨씬 멀리 움직이기 때문에 관절 공간 손실이 낮아도 집기에 실패할 수 있다. 시각 주의도 행동 손실을 통해 간접적으로만 학습돼 손과 물체의 접촉 부위에 집중하지 못할 수 있다.

기존 VLA는 그리퍼 자세를 예측하고 역기구학 해석기에 맡기거나(특이점 근처에서 도달 불가 자세나 궤적 끊김이 생긴다), 관절 값을 차원별 단순 손실로 회귀했다. 이전 개선책은 최종 행동에 기구학 벌점을 주거나 시각 모델에서 증류한 쿼리 토큰을 붙였지만 장면 전체의 의미와 접촉 부위를 나누지는 않았다.

GRASP는 사전학습된 pi0.5에 학습 전용 사전지식 두 가지를 더한다. 첫째, 플로 매칭의 모든 노이즈 단계에서 모델이 암묵적으로 추정한 행동을 미분 가능한 순기구학에 통과시켜 그리퍼 끝(TCP) 자세와 두 팔의 상대 자세 오차에 벌점을 준다. 둘째, 전역 쿼리 그룹이 고정된 DINOv3 모델의 미래 프레임 특징을 예측하도록 하고, 국소 상호작용 쿼리는 Grounding DINO가 찾은 손과 물체 영역으로 주의가 쏠리도록 주의 단계에서 증류한다. 실행 시에는 교사 모델과 기구학 분기를 모두 뺀다.

RoboTwin 2.0(과제 50개, Aloha AgileX 양팔, 과제와 조건별 100회)에서 전체 모델은 깨끗한 장면 79.22%로 pi0.5 미세조정 기준선 64.13%보다 15.1%포인트, 무작위 장면 52.84%로 36.15%보다 16.7%포인트 높았다. 쿼리만 쓴 변형은 무작위 장면 65.15%(29.0%포인트 상승)로 가장 좋았지만 깨끗한 장면은 68.30%에 그쳤다. 전문가 궤적 대비 그리퍼 끝 평균 편차는 5.3mm에서 4.6mm로, 최대 편차는 7.7mm에서 5.7mm로 줄었다. 깨끗한 장면에서는 두 장치를 함께 쓸 때 효과가 합보다 컸다. 기구학만 3.61%포인트, 쿼리만 4.17%포인트를 올렸는데 함께 쓰면 15.09%포인트로 합계보다 7.3%포인트 많았다(MEKAWIRE 재계산). 실제 양팔 PiPER-X 로봇(과제당 시연 약 150개, 시드 5개, 각 30회)에서는 장시간 과제 4개의 평균 성공률이 14.2%포인트 올랐고 수박주스 과제는 56.7%에서 83.3%가 됐다.

프리프린트다. 시각 무작위화 조건에서는 전체 모델이 쿼리 전용 변형보다 12.3%포인트 낮아, 저자들도 조건에 따라 다른 변형을 권한다. 손실 간 균형은 고정 가중치로 정했다. 시뮬레이션 벤치마크 하나와 실제 플랫폼 하나만 시험했고, 수박주스를 뺀 실제 과제별 수치는 그래프로만 제시됐다. 국소 사전지식은 오프라인 검출기 품질에 달려 있고, 과제별로 시연 50개로 미세조정한 설정이라 다중 과제나 다른 로봇으로의 일반화는 알 수 없다.