RoboBridge, 시뮬레이션에서 진화한 절차 기술을 실물 로봇으로 이전하고 계속 적응시키는 자기 진화 에이전트 프레임워크

시뮬레이션에서 학습한 작업 절차를 실물 환경으로 이전하고, 배포 후 실물 피드백으로 지속 적응시키는 일반화 가능한 프레임워크를 만들 수 있는가?

사전 학습된 비전-언어-행동(VLA) 정책은 섬세한 조작 능력을 제공하지만, 시뮬레이션과 실물 간 시각, 동역학 차이를 극복하려면 추가 데모 수집과 정책 재학습이 필요하다. 기존 도구 사용형 에이전트는 작업 절차를 명시적으로 표현하지만, 절차 지식을 환경 간에 이전하고 실물 피드백으로 선택적으로 수정하는 메커니즘이 부족하다.

정책 중심 접근은 시뮬레이션 조건을 보정하거나 타깃 도메인 데모를 모으고 파인튜닝해 정책을 적응시킨다. 도구 사용형 에이전트 연구는 작업 분해, 스킬 재사용, 피드백 기반 메모리 갱신 등을 다루지만, 주로 단일 환경 내 실행과 경험 재사용에 초점을 맞춰 시뮬레이션-실물 간 절차 이전과 지속 적응을 지원하지 못한다. 최근 하네스는 냉동 VLA 정책을 조작 프리미티브로 노출하지만, 이전된 절차의 어떤 부분이 유지되고 어떤 부분이 수정돼야 하는지를 통제하는 방식은 부족하다.

RoboBridge는 작업 지식을 의도, 관찰, 도구 연산, 결과 검증을 연결하는 절차적 스킬로 저장한다. 실행 피드백으로 후보 스킬 수정을 생성하고, 과제 실행으로 평가해 개선된 경우에만 새 스킬로 저장하고 실패하면 거부한다. 사전 학습된 VLA 정책은 재사용 가능한 행동 도구로 노출하되, 에이전트가 필요할 때 하위 과제 목표와 제약을 반영한 보상 함수를 구성해 디노이징 중 행동 시퀀스를 보정하는 추론 시점 가이던스를 적용한다. 정책 파라미터는 고정한 채 절차를 수정할 수 있다. 시뮬레이션과 실물 간 작업 의미론과 관찰, 도구 인터페이스를 정렬해 기술을 이전하고, 실물 피드백으로 계속 진화시킨다.

LIBERO-PRO 벤치마크에서 100회 시행(10개 과제 × 10개 시드) 기준으로 RoboBridge는 Codex 에이전트 사용 시 전체 성공률 74.4%를 기록했다. 같은 조건에서 기존 최고 기준인 Harness VLA는 72.1%, π_RLinf는 50.0%였다. GOAL-T 세트에서는 Harness VLA보다 5%포인트 높은 80.0%를 달성했다. 절제 실험에서는 절차적 스킬 가이던스를 제거하면 SPATIAL-T와 OBJECT-T 성공률이 각각 83%에서 21%, 94%에서 16%로 하락했고, 추가만 허용한 진화는 44%와 57%, 검증 게이트 제거는 69%와 63%, 추론 시점 가이던스 비활성화는 75%와 82%로 떨어졌다. 실물 로봇 3개 과제에서 시뮬레이션 스킬을 직접 이전했을 때 성공 횟수가 무가이던스 대비 각각 4/15→9/15, 2/15→7/15, 3/15→7/15로 향상됐고, 에피소드당 1회 스킬 진화를 10회 수행한 후 각각 15/15, 14/15, 15/15를 달성했다. 별도 효율 실험에서 시뮬레이션 초기화 진화는 12회 반복 만에 15/15에 도달한 반면 빈 스킬에서 시작하면 16회가 걸렸고, 누적 토큰 소비는 각각 13.08M과 52.39M으로 약 75% 감소했다.

저자들은 현재 평가가 Codex와 GPT-5.5 조합에 국한됐다고 밝혔다. 실물 로봇 평가는 3개 과제, 과제당 15회 시행으로 규모가 작고 단일 로봇 플랫폼으로 보인다. 코드와 데이터 공개 여부는 논문에 보고되지 않았다. 시뮬레이션 성능은 LIBERO-PRO라는 특정 벤치마크에 한정되며, 실물 과제는 시뮬레이션 과제와 의미론적으로 대응하도록 설계됐다. VLA 정책 체크포인트가 시뮬레이션과 실물에서 서로 달라 정책 자체의 일반화 성능 차이를 통제하지 못했을 수 있다. 추론 시점 가이던스는 디노이징 과정에서 추가 연산을 요구하며, 토큰 소비 절감 효과는 특정 과제와 반복 수에서 측정됐다.