ManiLadder, 로봇 조작 능력을 4단계 난도로 평가
프리프린트 논문 ManiLadder는 조작 과제 112개를 실험으로 보정한 4개 난도 단계에 배치한 시뮬레이션 벤치마크를 제시했다. π_{0.5}의 전체 성공률은 과제별 개별 학습에서 33.5%, 전체 과제 공동 학습에서 8.6%였다. 로봇 형태와 물체 특성이 달라질 때 학습 정책의 한계가 어디에서 드러나는지 비교할 평가 틀이다.
표준화한 학습 실험으로 난도를 보정한 벤치마크가 다양한 조작 과제에서 정책이 해결할 수 있는 난도 수준을 일관되게 드러낼 수 있는지가 연구 질문이다.
익숙한 집기와 배치 과제의 성공률만으로는 정밀 접촉, 양팔 협응, 변형 물체 처리와 긴 작업 순서에 필요한 능력을 판단하기 어렵다. 장면과 물체 종류를 늘리는 방식은 이런 능력의 경계를 충분히 구분하지 못한다. 물체 형상, 초기 위치와 시각 조건도 사람이 예상한 난도와 실제 학습 난도를 달라지게 한다.
MetaWorld, RoboCasa, LIBERO 등은 다양한 조작 과제와 환경의 평가를 지원한다. LIBERO와 RoboLab에는 난도 분류가 있으며, 기존 분류 연구는 접촉 형태, 하위 기술 조합, 수작업으로 정한 조건 등을 활용했다. 다만 서로 다른 물체와 로봇 형태가 얽힌 과제에 같은 기준을 적용하기 어렵다는 한계가 있다.
Genesis에서 구현한 112개 과제를 32개 묶음으로 구성하고, 4개 난도마다 8개 범주를 배치했다. 강체와 변형 물체를 대상으로 단일 팔 및 양팔의 그리퍼와 다지 손을 조합했다. 시뮬레이션에는 Franka Panda, LeapHand와 일부 TidyBot++ 과제를 사용했다. 기준 flow-matching 정책은 학습 매개변수 50M과 고정한 RADIO 시각 인코더로 구성했다. 과제마다 시연 20개, 학습 40k 스텝, 배치 크기 256을 적용하고 5k 스텝마다 평가한 최고 성공률로 난도를 보정했다. 형상, 초기 조건, 지각 및 협응 요구를 조정하며 과제를 다시 학습했다. 실물 실험에는 X-Arm, 원격 조작용 Meta Quest 3, RealSense D435i 카메라 2대를 사용했다.
시뮬레이션 112개 과제에서 π_{0.5}의 성공률은 개별 학습 33.5%, 전체 공동 학습 8.6%였다. 공동 학습의 총 학습 예산은 단일 과제 예산의 112배였다. AL@50은 해당 단계와 모든 하위 단계에서 과제의 80%가 성공률 50% 이상을 달성해야 한다. 이 지표는 기준 정책과 π_{0.5}가 각각 1, GPT6-Astra가 0이었다. AL@80은 세 방법 모두 0이었다. Level-2 변형 물체 양팔 그리퍼 묶음에서 GPT6-Astra는 94.0%, π_{0.5}는 30.7%로, 논문에 보고된 차이는 63.3%포인트였다. Level-2 강체 과제 16개를 100k 스텝 공동 학습할 때 과제당 시연 20, 50, 100, 200개의 성공률은 각각 21.4%, 27.8%, 29.6%, 31.8%였다. 시뮬레이션 평가는 과제당 50회였다. 실물 평가는 4개 단계의 8개 과제에서 각각 시연 20개와 시험 50회를 사용했다. FoldShirt는 실물 40%, 시뮬레이션 44%였고 BuildTent는 양쪽 모두 0%였다. 실물 결과는 대체로 시뮬레이션의 난도 순서를 유지했다.
난도는 기준 정책과 시연 수, 학습 절차에 의존한다. 보정에는 학습 중 최고 평가 성공률을 사용했고 평가 횟수는 매번 50회였다. 대부분 통제된 탁상 환경이며 실물 검증은 X-Arm의 8개 과제로 제한돼 다른 하드웨어와 운용 조건의 근거가 부족하다. GPT6-Astra에는 최대 20회의 추가 탐색과 로봇 고유수용감각 관측이 제공되지만 표준 모방학습 관측은 RGB와 지시문이므로 학습 자원 차이가 비교에 포함된다. 총 연산 비용은 논문에 보고되지 않았다.
로봇 학습 개발사, 조작 플랫폼 업체와 평가 조직은 현재 연구 단계에서 정책 비교와 다중 과제 학습 실패 분석에 활용할 수 있다. 제품 검증 지표로 쓰려면 실제 운용 조건을 반영한 과제, 더 폭넓은 실물 검증, 관측 및 탐색 예산의 비교 가능성이 필요하다. 상용 도입 일정은 논문에 보고되지 않았다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.