UniWALM: 아마존의 월드-행동-언어 모델, 실제 양팔 집기 95%, 기억 과제 61% 성공

영상과 행동을 예측하는 로봇 모델이 언어 생성까지 함께 배우면 조작 성능이 좋아지는가, 그리고 자기가 쓴 글을 기억으로 쓸 수 있는가.

미래 영상과 행동을 함께 예측하는 월드-행동 모델은 짧은 조작에는 강하지만 명시적인 작업 상태가 없다. 버튼을 몇 번 눌렀는지, 물건을 어디 숨겼는지처럼 과거에 의존하는 과제에서 무너진다.

기존 시스템은 영상-행동 본체에 별도의 시각언어 모델이나 플래너를 붙여 추론과 행동을 따로 돌렸다. 지연이 늘고 두 단계의 판단이 어긋날 수 있다.

UniWALM은 Wan2.2 영상 모델 위에 만든 하나의 트랜스포머 혼합 본체에 영상과 행동, 언어를 모두 넣는다. 모달리티마다 확산 헤드가 있고 세 가지를 한 번에 함께 디노이징해, 행동을 내면서 다음 하위 작업과 누적 메모를 글로 쓴다. 이 글은 다음 단계 입력으로 다시 들어간다. '보정 플로 매칭' 학습으로 흐트러진 행동에서 복구하는 법을 익히고 LoRA로 미세조정을 가볍게 했다. 언어 모듈은 약 5억 파라미터이며 언어와 행동 부분은 처음부터 학습했다.

시뮬레이션 MolmoSpaces 과제별 분포 밖 1,000회 시험에서 Pick&Place 68.0%, Pick&Place-Color 70.8%, Pick&Place-NextTo 38.8%로 기록이 있는 MolmoBot(66.5%, 67.8%, 26.4%)을 앞섰고, 같은 본체를 쓰는 FastWAM보다 평균 14.8%포인트 높았다. 집기만 하는 Pick에서는 49.2%로 MolmoBot 64.0%에 못 미쳤다. 단계별 분석에서 성공률은 31.0%에서 언어 추가 시 35.9%, 보정 학습 38.9%, LoRA 41.0%로 올랐다. RMBench 버튼 누르기 기억 과제는 10만 스텝 학습 후 51%로 FastWAM의 0%와 대비됐다. 플렉시브 리즌 팔 2대에 샤르파 웨이브 또는 팍시니 손을 단 실물 시험에서는 큐브 옮기기 95.0%(차순위 80.0%), 용기 비우기 50.0%(FastWAM과 동률), 기억 과제 61.1%(18회)였다.

실물 시험 규모가 작아(정밀조작 과제당 20회, 기억 과제 18회) 신뢰구간이 넓다. 언어 모듈을 켜면 32스텝 행동 묶음 생성에 123ms가 걸려 끈 경우 76ms보다 느리고 고속 제어에는 부족할 수 있다. 스텝 제한이 빡빡한 단순 집기 과제에서는 뒤진다. 저자들은 작업 완료 신호가 한 박자 늦거나 빠른 문제, 비슷한 장면에서 하위 작업 오판, 복잡한 물체의 파지 정밀도를 실패 요인으로 꼽았다. 동료 심사 전 프리프린트다.