물체를 강체로만 움직이는 3D 월드모델, 장기 예측 오차 83% 줄이고 실제 밀기 90% 성공
하얼빈공업대(선전) 프리프린트에 따르면 물체마다 강체 이동만 예측하는 3D 월드모델 ORD-WM이 움직이는 물체의 전체 궤적 예측 오차를 LIBERO로 미세조정한 PointWorld의 225.7mm에서 37.6mm로 83% 줄였고, 프랑카 로봇팔이 실제로 물체를 2cm 이내로 밀어 놓는 데 90% 성공했다. 재계획 한 번에 엔비디아 RTX 3090 한 장으로 0.27초가 걸렸다.
장면 전체를 매번 다시 생성하지 않고 각 강체가 어떻게 움직이는지만 예측하면, 로봇 월드모델이 여러 단계 예측에서도 물체 형태를 유지하면서 실시간 계획에 쓸 만큼 빠를 수 있는가를 묻는다.
월드모델은 로봇이 행동하기 전에 결과를 머릿속으로 그려보게 한다. 영상 기반이나 조밀한 3D 점 기반 모델은 매 단계 장면을 새로 만들기 때문에 예측이 길어질수록 물체가 찌그러지거나 밀리거나 따로 놀아, 수십 단계가 걸리는 밀기와 놓기를 계획하는 데 믿기 어렵다.
영상 월드모델은 미래 프레임을, PointWorld 같은 점 기반 모델은 점마다 장면 흐름을 예측한다. 둘 다 컵이 계속 같은 컵이라는 사실을 암묵적으로 배워야 하고, 예측한 단계를 다시 입력할 때마다 오차가 쌓인다. V-JEPA 2 방식 계획기는 학습된 잠재 공간에서 작동하지만 역시 강체 구조를 강제하지 않는다.
ORD-WM은 부호 거리장(SDF)으로 학습한 회전 등변 벡터 뉴런 오토인코더로 각 물체의 점군을 3D 벡터로 된 잠재 코드로 바꾼다. 로봇 행동을 조건으로 하는 동역학 신경망이 물체별 회전과 이동 증분을 예측하고, 이를 잠재 코드에 해석적으로 적용한다. 형태는 구조적으로 보존되고 자세만 바뀐다. 모델예측제어기는 8단계 행동 후보를 뽑아 잠재 공간에서 굴려 보고 가장 좋은 첫 행동을 실행한다.
LIBERO 검증 궤적에서 움직이는 점의 오차는 1단계 1.58mm로 LIBERO 미세조정 PointWorld의 10.04mm보다 약 6.4배 낮았고(MEKAWIRE 계산), 10단계 7.71mm 대 79.62mm, 전체 궤적 37.60mm 대 225.68mm로 83.3% 낮았다. 공개된 PointWorld(321.11mm)보다는 88.3% 낮다(MEKAWIRE 계산). 형태 변형을 나타내는 챔퍼 거리는 0.00mm로 3.58mm, 19.87mm와 대비됐다. 프랑카 리서치 3과 RealSense D435 카메라 3대로 한 실제 밀기에서 성공(최종 오차 2cm 미만)은 후보 64개일 때 10%, 256개 70%, 1024개 90%였고, 평균 최종 오차는 3.72cm에서 0.97cm로, 실행 단계는 367에서 85로 76.8% 줄었다(MEKAWIRE 계산). 단계당 계획 시간은 55.4ms, 115.7ms, 269.9ms였다.
프리프린트다. 물체를 자유 강체나 고정 강체로만 다뤄 경첩, 관절형, 변형 물체는 범위 밖이다. 질량, 마찰, 접촉은 암묵적으로 학습되고 강체 업데이트가 물체 간 관통을 막지 않는다. 실제 로봇 근거는 성공률만 있고 시행 횟수는 표에 없는 밀기 실험과 정성적인 집어 놓기다. 학습 데이터는 LIBERO와 밀기 궤적 1000개이며, 저자들은 더 크고 다양한 데이터로는 시험하지 않았다고 밝혔다.
월드모델로 계획하는 방식은 로봇 파운데이션 모델 기업들이 긴 작업의 신뢰성을 높이려고 택하는 경로 중 하나이고, 약점은 여러 단계에 걸친 드리프트다. 강체 부품 형태를 유지하는 구조적 모델은 상자, 부품, 토트를 천천히 다루는 공장과 물류 작업에 맞는다. 국내 빈피킹과 키팅 셀 업체라면 범용 가정용 로봇 두뇌보다 셀 안의 계획기로 이런 물체 중심 모델을 먼저 검토할 만하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.