로봇 실패를 진단해 훈련 장면을 새로 짓는 시뮬레이터: CoDA, pi0.5 일반화 성공률 5배

시뮬레이터가 로봇 훈련 환경을 끝없이 만들 수 있을 때, 현재 정책의 약점을 고치는 환경을 어떻게 고르고 어떤 학습 신호를 줘야 그 환경에서 배울 수 있는가.

생성형 시뮬레이션으로 장면 제작 비용은 크게 낮아졌지만, 물리적으로 타당한 장면이 곧 쓸모 있는 장면은 아니다. 기존 데이터 엔진은 사람이 정한 범위 안에서 장면을 바꾸거나, 물리 검사를 통과하면 멈추거나, 과제별 성공률로 예산을 나눈다. 어느 것도 정책이 왜 실패하는지, 그 실패를 넘도록 어떻게 지도할지는 말해주지 않는다. 성공 여부만 주는 희소 보상은 학습도 느리게 만든다.

도메인 무작위화와 균일 변형은 아무 방향 없이 변화를 뽑고, 성공률 기반 생성은 단일 점수로 장면을 배분한다. 스킬 라이브러리는 재사용 코드를 저장하지만 장면 제작 경험과 훈련 경험을 섞어 둔다. 정책이 왜 실패했는지를 구조적으로 기록하는 방식은 없었다.

CoDA는 장면 제작, 진단된 실패, 학습 진척을 따로 담는 공유 기억을 가운데 두고 데이터 엔진과 정책을 번갈아 발전시킨다. 비전언어 비평 모델(기본값 GPT-5.5)이 실패한 실행을 보고 원인을 제시하면, 대조 실험으로 확인된 진단만 기억에 들어간다. 기억은 그 어려움을 재현하는 장면 생성 프로그램과 이를 극복하게 돕는 훈련 프로그램으로 바뀐다. Text2potential은 진단을 단계별 하위 목표 포텐셜로 바꿔 행동 묶음의 가치를 학습하는 조밀한 신호를 주며, 표준 보상 성형 가정 아래 최적 정책은 바뀌지 않는다. 측정된 학습 진척이 다음 회차를 정한다.

pi0.5를 정책으로 쓴 실험에서 집어 놓기, 관절 물체, 안에 넣기, 쌓기와 끼우기 4개 과제군의 평균 분포 밖 성공률은 27.6%였다. 시연 데이터 미세조정은 5.3%, 도메인 무작위화 7.9%, 균일 변형 8.5%, 성공률 기반 생성 18.1%였다(상대 52% 개선). 15회 반복하면 42.1%까지 올랐다. LIBERO-Pro에서는 위치 변화 조건이 25%에서 84%, 지시문 변화 조건이 1%에서 76%로 올라 ASPIRE보다 7%포인트, 9%포인트 높았고, 기존 LIBERO 성적은 97.4%(적용 전 97.1%)로 유지됐다. Text2potential은 정책 업데이트 2만1천 번 만에 분포 밖 성공률 25%에 도달해 희소 보상(3만1천 번)보다 약 32% 적게 들었다. 비평 모델을 Claude Opus 5, InternVL3-78B, Qwen3-VL-235B로 바꾸면 성공률이 1.5~2.7%포인트 낮아졌다. pi0.5로 모은 기억을 재사용하자 OpenVLA-OFT의 성공률이 새 장면 없이 3.8%에서 21.1%로 올랐다. 비용은 승인된 환경 1천 개당 언어모델 토큰 740만 개, GPU 66시간이다.

프리프린트이며 시뮬레이션 속 조작만 평가했다. 저자들은 실제 로봇, 특히 접촉에 민감한 작업으로의 전이는 아직 입증되지 않았다고 밝혔다. 장면 생성과 진단, 포텐셜 작성에 여러 파운데이션 모델을 쓰기 때문에 이들의 물리 이해 오류가 데이터로 흘러들 수 있고, 모델 버전이 바뀌면 결과도 달라질 수 있다. 5회 반복 후 분포 밖 성공률이 27.6%에 그치고, 회차마다 시뮬레이션과 추론 비용이 더해져 팀이 감당할 수 있는 반복 횟수와 과제 수가 제한된다.