데모에서 효과만 남긴 PEWAM, 편집 가능한 로봇 작업 프로그램으로 LIBERO와 실제 Franka에서 성공

시연에서 객체에 일어난 효과만 과제로 분리해, 행위자의 동작에 얽매이지 않고 사람이 편집할 수 있고 다른 로봇에도 옮길 수 있는 작업 인터페이스를 만들 수 있는가?

시연은 객체에 무엇이 일어났는지와 특정 팔이 어떻게 그것을 만들었는지를 같은 프레임에 기록한다. 기존 시스템은 이 둘을 함께 유지해 과제가 한 몸의 동작에 묶이고, 편집하거나 다른 로봇에 주기 어렵다. 데모 조건 방식은 특정 팔, 파지, 배치에만 유효하다.

UWM, Instant Policy, ATM, Zero-WAM 같은 데모 조건 방식은 시연자의 궤적이나 비디오를 읽어 한 번의 실행을 모방한다. 객체 운동을 분리하는 Im2Flow2Act 등은 언어나 비디오에서 플로를 생성하고 별도 정책으로 실행하지만, 여러 과제를 하나의 가중치로 수용하고 사람이 편집할 수 있는 인터페이스가 없다.

시연을 객체 키포인트 궤적, 파지 시 두 접촉점, 최종 상태로 구성된 행위자 없는 효과 프로그램으로 컴파일한다. PEWAM은 효과, 엔드이펙터 실행, 로봇 액션, 최종 상태를 네 개의 스트림으로 두고 스트림마다 독립적인 flow-matching 시간을 적용해, 같은 가중치로 역방향, 목표, 순방향, 역동역학 쿼리를 모두 답한다. 추론에서는 효과와 최종 상태를 고정하고 실행을 샘플링해 프로그래밍처럼 쓴다. 폐루프에서 미완성 프로그램을 살아 있는 장면에서 몇 제어 스텝마다 다시 풀고, 로봇이 일으킨 효과만 진행으로 인정하는 engagement 게이트로 밀림을 흡수한다. 학습에는 하나의 효과를 여러 실행으로 실현하는 paired multi-solution corpus를 사용했다.

LIBERO-Goal 비공개 과제 3종 90회에서 한 시연의 프로그램으로 40회 성공했고 최종 상태만으로는 49회 성공했다. 같은 백본과 데이터로 목표 이미지, 언어, 무조건은 성공이 0이었다. 공개 방법은 UWM 21.1%, Instant Policy 5.6%, ATM 0%, Zero-WAM 0%였다. Meta-World ML10과 ML45의 비공개 클래스 중 shelf-place 22.2%, sweep-into 100.0%, bin-picking 52.2%로 기존 최고 DAMI의 10.7%, 28.0%, 13.7%를 넘었지만 5개 클래스 평균은 DAMI보다 낮았다. LIBERO-Object 비공개 객체 90개 중 프로그램 67개, 최종 상태 89개 성공. RLBench 24개 비공개 과제 720회에서 프로그램 160회, 무프로그램 108회, Instant Policy 575회였다. 로봇 팔 전이에서는 bowl 과제 30개 중 Panda 27, IIWA 24, Kinova3 22, UR5e 16을 성공시켰다. 5cm 밀기 후 재해결은 60개 중 23개 성공, 시연 재생은 6개였다. 실제 Franka에서 인간 비디오 4과제 40회 중 PEWAM은 36회, 목표 이미지 조건은 22회 성공했다. 터미널 상태 10cm 이동은 10회 중 각 9회와 9회, 5cm 밀기는 7회 성공했다. 편집 실험에서 터미널 이동의 실현 기울기는 0.71, 접촉 회전의 실현 비율은 평균 0.68이었다.

저자들은 효과가 거의 없는 과제(손잡이 돌리기 등)는 프로그램이 지정할 것이 적고, 포인터와 게이트는 파지 객체용 수동 규칙이며, 객체는 대부분 시뮬레이터 상태에서 읽은 강체 박스라고 밝혔다. 시연자의 동작이 유효한 곳에서는 재생이 더 강하고, RLBench 전문가에 크게 뒤진다. 대부분 셀이 30회 단일 학습이라 반복 간 차이가 논의된 차이만큼 움직일 수 있다. 실물 실험은 4과제 40회 수준이고 코드 공개 여부는 논문에 보고되지 않았다.