ACE로보틱스, 엔비디아 Cosmos 기반 월드 액션 모델에 동작 추론기 얹어 모호한 지시 성공률 20.6%에서 31.6%로

'빨간 물건을 통에 넣어라' 같은 과제 수준 지시를 받았을 때, 영상 기반 월드 액션 모델이 행동을 만들기 전에 추론기가 다음 단위 동작(어떤 물체를, 어디를 잡아, 어디로 옮길지)을 먼저 적어주면 도움이 되는지를 묻는다.

월드 액션 모델(WAM)은 영상 파운데이션 모델을 로봇 제어에 맞춰 미래 영상과 행동을 함께 예측한다. 과제 지시는 접근, 파지, 운반, 놓기 내내 그대로이고 대상 물체와 관계를 생략하는 일이 많아, 모델이 의미와 현재 단계를 스스로 짐작해야 한다. 지시가 얼마나 구체적이냐에 따라 예측 영상이 눈에 띄게 달라진다.

DROID 데이터로 학습한 엔비디아의 Cosmos3-Nano-Policy는 지시와 현재 카메라 영상을 곧바로 영상과 행동 묶음으로 바꾼다. 계층형 VLA는 계획기를 덧붙이지만, 언어상 그럴듯함만 배운 계획기는 하위 정책이 실행할 수 없는 동작을 제안하기도 한다.

Atomic-WAM은 일을 나눈다. Cosmos3-Nano로 초기화한 비전 언어 추론기가 지시와 최근 몇 프레임을 보고 다음 단위 동작을 대상, 보이는 파지점, 그리퍼 위치까지 짧게 적는다. 역시 Cosmos3-Nano 기반인 WAM이 이를 받아 미래 영상과 32스텝 행동 묶음을 예측한다. 자동 주석 파이프라인이 성공한 DROID 시연 5만7000개를 단위 동작 구간 36만9000개로 잘라 지도 데이터를 만들었다. 이후 실행 기반 GRPO(EG-GRPO)라는 강화학습 단계로 추론기를 다듬는데, 설명이 적절한지와 함께 고정된 WAM이 그 동작을 실제로 완수했는지를 보상한다.

RoboLab 120개 과제를 과제당 10개 시드로 평가한 결과 Atomic-WAM은 기본 지시에서 성공률 39.6%, 하위 과제 진척 점수 53.7, 모호한 지시에서 31.6%와 46.7을 기록했다. 공개된 Cosmos3-Nano-Policy 체크포인트는 각각 36.8%와 20.6%였다. 지시가 모호해질 때 성공률 하락폭은 8.0%포인트로 기준 모델의 16.2%포인트의 절반 수준이었다. 시각 인식 과제는 26.1%에서 34.0%(기본), 13.5%에서 26.3%(모호)로 올랐지만 절차 과제는 25.9%로 기준 모델 27.3%보다 조금 낮았다. 절제 실험에서 단위 동작 설명은 재현한 기준 모델을 30.0%에서 32.5%로, 파지점과 그리퍼 정보를 더하면 36.7%로, EG-GRPO를 거치면 39.2%로 끌어올렸다. 실행 보상 없이 GRPO만 하면 34.2%로 오히려 떨어졌다. 추론기 자리에 GPT-5.6 기반 Codex 에이전트를 넣으면 64개 과제 중 33개, 되돌아가기를 허용하면 50개를 완수해 학습된 추론기의 23개보다 많았다.

프리프린트이고 주요 수치는 모두 실물 로봇이 아닌 시뮬레이션(real-to-sim 벤치마크) 결과다. 방향 바꾸기와 쌓기 같은 절차 기술에서는 향상이 없어 그 영역에서는 WAM 자체가 병목으로 남는다. EG-GRPO의 실행 보상은 사람이 960회 롤아웃을 직접 판정해 얻었기 때문에 규모를 키우기 어렵다. 배치 크기를 줄인 탓에 저자들이 재현한 기준 모델은 30.0%로 공식 체크포인트의 36.8%보다 낮아 절제 비교 해석에 주의가 필요하다.