싱가포르국립대 SkeLAM, 로봇 월드모델 팔 궤적 오차 드림도조 대비 19.5% 줄여

영상에서 행동 표현을 스스로 배우는 월드모델이 그 표현을 로봇 관절 움직임에 묶인 부분과 나머지 장면 변화로 나누면 실제 로봇 명령을 더 충실히 따를 수 있는가.

월드모델을 쓰면 로봇 동작을 실물 대신 생성 영상에서 시험하고 계획할 수 있지만, 로봇 영상 대부분에는 행동 라벨이 없다. 잠재 행동 모델은 연속 프레임에서 대리 행동을 추론해 이를 메우는데, 이 대리 행동에는 팔의 움직임과 물체의 반응, 기타 장면 변화가 뒤섞여 있다. 그래서 실제 관절 명령을 여기에 대응시키기 어렵고 생성된 팔이 명령한 경로에서 벗어난다.

드림도조와 CD-LAM 같은 잠재 행동 월드모델은 다음 프레임을 복원하면서 대리 행동을 배운다. IRASim, Ctrl-World, 코스모스-프리딕트2.5, 코스모스3, GE-Sim은 로봇 행동을 직접 조건으로 넣고, EnerVerse-AC와 OSCAR는 로봇의 기하 렌더링이나 골격 시퀀스를 조건으로 쓰는데, 이 경우 생성 단계마다 해당 입력이 필요하다.

SkeLAM은 영상 프레임 쌍을 32차원 잠재 벡터 두 개로 나눈다. 하나는 렌더링한 로봇 골격의 움직임과 일치하도록 강제한 운동학 성분이고, 다른 하나는 나머지 시각 변화를 담는 잔여 성분이다. 교환 복원 단계는 영상 디코더가 영상 자체의 운동 코드 대신 골격의 운동 코드를 받아도 같은 장면을 복원하도록 만든다. 월드모델은 엔비디아 코스모스-프리딕트2.5-2B를 기반으로 DROID와 애지봇 월드(AgiBot World) 데이터로 학습했고, 두 성분을 별도 경로로 받되 학습 중 경로를 무작위로 끊어 배포 시에는 운동학 경로만으로 돌아가게 했다. 마지막으로 작은 어댑터가 실제 로봇 행동을 이 운동학 공간으로 옮긴다. 골격은 학습 때만 쓴다.

DROID 시험 클립 400개(입력 1프레임, 480x640 해상도로 12프레임 예측)에서 SkeLAM은 행동 조건 모델 가운데 지표 8개 중 7개에서 1위였다. 말단장치 평균 변위 오차는 41.15픽셀로 드림도조(51.11), CD-LAM(53.90), Ctrl-World(42.96)보다 낮았고, 지각 오차 LPIPS는 0.1310으로 각각 0.1473, 0.1586, 0.4029보다 낮았다. 방향 F1은 Ctrl-World(0.589)와 OSCAR(0.581)가 SkeLAM(0.547)보다 높았다. 골격 감독을 빼면 궤적 오차가 64.59픽셀, 교환 복원을 빼면 66.74픽셀로 커졌다. 로보아레나(RoboArena) 정책 평가(정책 7종, 105개 에피소드, 생성 영상의 성공 여부는 사람이 판정)에서는 균형 정확도 63.0%, 성공 재현율 33.3%로 코스모스-프리딕트2.5의 48.4%, 0%를 앞섰고, 성공률 오차는 4.76%포인트 대 7.62%포인트, 실제 결과와의 피어슨 상관계수는 0.61이었다. 사람 시연 영상으로 재학습 없이 로봇 팔을 움직인 결과는 정성 사례로만 제시됐다.

프리프린트다. 정책 평가는 기록된 행동을 그대로 재생하는 개루프 방식이라 모델이 정책의 판단에 반응하지 않으며, 저자들도 폐루프 평가를 향후 과제로 꼽았다. 성공 재현율 33%는 실제 성공 사례 대부분을 여전히 놓친다는 뜻이고, 생성 영상의 성공 판정은 사람이 했다. 사람에서 로봇으로의 동작 전이는 정성 결과뿐이다. 학습에 로봇 골격 렌더링이 필요해 로봇 모델과 카메라 보정 정보가 있어야 하고, A100 GPU로 한 번 학습에 약 이틀이 걸린다. 시험은 모두 DROID와 로보아레나의 탁상형 로봇팔에서 이뤄졌다.