SkeleWAM, 로봇 관절, 물체 중심, 상호작용 점만으로 희소 3D 골격 세계-행동 모델링

로봇-물체 상호작용 기하를 로봇 관절, 물체 중심, 상호작용 점으로 이뤄진 희소 3D 골격으로 표현하면 효율적인 세계-행동 학습과 강건한 조작이 가능한가?

기존 세계-행동 모델(WAM)은 미래 상태를 비디오나 학습된 시각 잠재로 예측한다. 이 방식은 로봇과 물체의 공간 배치, 상대 운동 같은 상호작용 기하를 암묵적으로만 담고, 제어와 무관한 외형 정보를 유지한다. 시각 인코더와 사전학습 목표에 따라 정보가 크게 달라지며 기하 변수를 명시적으로 분리하지 못한다.

WorldVLA, UniVLA, DreamZero, GE-Act, Cosmos-Policy 등은 픽셀 재구성이나 사전학습 비디오 모델을 활용하고, VLA-JEPA는 시각 잠재 목표를 예측하며, Fast-WAM은 비디오 예측을 공동 훈련 목표로 유지한다. 이들은 공간 구성을 명시적 상태 변수로 다루지 않아 기하 정보가 분리되지 않고, 추론 시 비디오 생성이나 큰 모델 비용이 문제가 될 수 있다.

SkeleWAM은 RGB-D 관측과 로봇 고유수용 정보에서 로봇 관절은 정기구학으로, 물체 중심과 상호작용 점은 고정된 사전학습 인지망으로 추정해 희소 3D 골격을 만든다. 이 골격을 토큰으로 인코딩하고, Fast-WAM의 2-전문가 Mixture-of-Transformers 구조를 따라 동작과 미래 골격 분포를 flow matching으로 공동 학습한다. 현재 골격 토큰은 두 예측 분기 모두에 조건으로 제공되고, 동작 토큰과 미래 골격 토큰은 서로 주의(attention)하지 않는다. 추론에서는 미래 골격 분기를 생략하고, Medoid Action Consensus(MAC)가 K개의 확률적 동작 후보 중 평균 거리가 가장 작은 궤적을 선택해 보상 모델 없이 샘플링 강건성을 높인다.

LIBERO-Plus 벤치마크의 10,030개 변이 전체를 제로샷으로 평가한 시뮬레이션 실험에서 SkeleWAM은 전체 성공률 85.9%로, 관측 기반 기준 모델 중 가장 높았던 Cosmos-Policy(82.2%) 대비 3.7%포인트 우세했다. 카메라 섭동에서는 93.4%로 Cosmos-Policy(75.8%)보다 17.6%포인트 높았고, 언어, 배경, 노이즈 섭동에서도 각각 89.1%, 96.0%, 93.9%로 관측 기반 최고였다. 레이아웃 섭동은 66.6%로 π0.5(84.1%)보다 낮았다. 시뮬레이터 좌표를 쓴 SkeleWAM(sim-state)은 51.4M 파라미터로 87.7%를 기록해 관측 기반과의 격차가 1.8%포인트였다. 실물 로봇 실험에서는 ARX R5 로봇과 외부, 손목 RealSense 카메라로 5개 과제를 과제당 20회 평가했다. SkeleWAM은 평균 89%로 Cosmos-Policy(87%), Fast-WAM(83%), π0.5(76%)를 각각 2%포인트, 6%포인트, 13%포인트 앞섰고, 5개 과제 중 4개에서 최고 또는 공동 최고였다. 절제 실험에서 객체 골격은 중심+상호작용점 85.9%가 중심만 82.3%, 상호작용점만 77.7%보다 높았다. 미래 골격 예측을 제거하면 80.1%로 떨어졌다. 실행 지평은 16에서 85.9%로 5(80.7%), 32(81.8%)보다 좋았고, MAC 후보 K는 3에서 85.9%로 K=1(84.2%), K=5(85.2%), K=10(84.1%)보다 높았다.

저자들은 레이아웃 변화가 큰 공간 일반화에서 성능이 제한적임을 인정했고, 희소 기하만으로는 새로운 공간 배치를 완전히 포착하지 못한다고 밝혔다. 실물 실험은 ARX R5 단일 플랫폼에서 과제당 20회, 총 5개 과제로 규모가 작다. 프리프린트이며 동료 심사 여부는 확인되지 않았다. 코드 공개 여부는 본문에 명시되지 않았지만 프로젝트 페이지가 제공된다.