MEKAWIRE
전문가arXiv

RIGID: 3D 감각 더한 VLA, LIBERO-Plus 75.0%로 OpenVLA-OFT 69.6% 앞서 (QMUL, UCL, 옥스퍼드)

Chaoran Zhu, Hengyi Wang, Chenglin Cui, Yazhe Wan, Taein Kwon, Changjae OhQueen Mary University of London, University College London, Visual Geometry Group (University of Oxford)
30초 요약

영국 런던과 옥스퍼드 연구진이 OpenVLA-OFT 로봇 정책에 기존 능력을 해치지 않고 3D 공간 감각을 넣어, 교란 조건의 LIBERO-Plus 벤치마크 평균 성공률을 원래 모델 69.6%, 경쟁 기법 70.3%보다 높은 75.0%로 끌어올렸다고 사전공개 논문에서 밝혔다. 3D 모듈은 학습에만 쓰여 로봇 추론 비용은 늘지 않는다.

연구 질문

시각언어행동(VLA) 모델이 3D 파운데이션 모델에서 공간 감각을 배우면서도, 특징을 그대로 베낄 때 생기는 표현 붕괴를 피할 수 있는가.

문제

흔한 방법은 VLA 내부 특징을 VGGT 같은 3D 모델 특징과 점 단위로 일치시키는 것이다. 연구진은 이 방식이 저랭크 정규화처럼 작동해 특징을 더 적은 차원으로 압축하고, 그 결과 기하 인식은 좋아지지만 카메라 위치가 바뀌는 등 다른 조건에서 견고성이 떨어진다는 점을 보였다.

기존 접근

명시적 방법은 깊이 지도나 포인트 클라우드를 VLA에 넣지만 깨끗한 센서와 사전 스캔된 환경에 의존한다. 스페이셜 포싱 같은 암묵적 방법은 VLA 은닉 상태를 3D 모델 특징에 직접 맞추는데, 논문은 이때 유효 랭크가 뚜렷하게 떨어진다고 측정했다.

새 접근

RIGID는 특징이 아니라 관계를 맞춘다. VGGT 어텐션이 담은 이미지 패치 사이의 관계 구조를 카메라 시점 안팎에서 뽑아, 회전 불변의 최적 수송(싱크혼) 손실로 VLA에 증류한다. VLA는 자기 특징 공간을 유지하고 3D 모듈은 추론 때 빠진다.

결과

LIBERO-Plus 네 개 과제군 평균에서 RIGID는 75.0%로 스페이셜 포싱 70.3%, OpenVLA-OFT 69.6%, pi0 53.6%를 앞섰다. 카메라 교란 조건에서는 62.1%로 스페이셜 포싱 56.5%, OpenVLA-OFT 56.4%보다 높았다. 표준 LIBERO 평균은 98.5%로 스페이셜 포싱과 같았다. 학습 시간은 어텐션 KL 기준선보다 8.0% 늘었고 추론 비용은 OpenVLA와 같다. 프랑카 판다 팔로 장난감 주방에서 6개 과제를 과제당 10회 시험한 결과도 평균이 가장 높았지만 수치는 그래프로만 제시됐다.

한계

사전공개 논문이다. 실물 로봇 검증은 모델당 60회로 작고 그래프로만 공개됐다. 언어 교란처럼 일부 조건에서는 스페이셜 포싱이 더 높다. 연구진도 성능 향상을 랭크 보존만으로 설명할 수 없다고 인정했다. 모든 실험이 OpenVLA-OFT 기반이어서 다른 VLA 계열로의 이전은 검증되지 않았다.

업계 영향

공장과 물류센터용 로봇팔에 공개 VLA를 미세조정하는 기업은 학습 때와 다른 카메라 배치를 늘 겪는다. 로봇 속도를 늦추지 않고 학습 단계에서만 3D 견고성을 더하는 방법은 OpenVLA 계열을 쓰는 국내 로봇 스타트업도 바로 적용할 수 있다. 점 단위 3D 증류가 견고성을 해친다는 결과는 이미 그 방식을 쓰는 팀에 경고다. 미세조정 레시피이므로 적용 시간은 수개월 단위다.

이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.