Watch, Infer, Coordinate, 관찰로 파트너 로봇 물리 제약 추론해 제로샷 협동
Honda Research Institute USA와 Johns Hopkins University 연구진이 공동 운반 과제에서 파트너 로봇의 관절 위치, 속도, 이동 방향 등 저수준 물리 제약을 사전 시연만으로 추론하는 프레임워크 Watch, Infer, Coordinate를 제안했다. 시뮬레이션 벤치마크 3종에서 추론 오차가 기존 CE-CM-Div 대비 크게 줄었고, 장애물이 있는 새 과제의 제로샷 협동 성공률은 2D rod 92.6%, 고정 베이스 dual-UR5 85.2%, 이동형 dual-UR5 63.0%로 실제 제약을 아는 Oracle에 근접했다. 이 논문은 arXiv 프리프린트다.
헬퍼 로봇이 다른 로봇과 협동하는 시연을 지켜본 뒤, 파트너 로봇의 저수준 물리 제약을 추론하고 그 지식을 장애물이 있는 새 과제에서 제로샷 협동에 쓸 수 있는가?
여러 로봇이 물체를 함께 운반할 때 하드웨어 열화나 액추에이터 고장으로 한 로봇의 관절 위치, 속도, 이동 방향 제약이 생길 수 있는데, 새로 투입되는 헬퍼는 이 제약을 모른다. 시연에는 파트너가 하지 않은 행동이 불가능해서인지 단지 불필요해서인지 드러나지 않고, 물리적으로 결합된 협동에서는 다른 로봇이 보상 동작을 해 제약이 더 가려진다.
기존 파트너 인지 지원은 목표나 태스크 수준 능력을 추론하거나, 물리 결합 협동에서 파트너 행동에 적응하되 지속되는 저수준 행동 제약을 명시적으로 추론하지 않았다. 제약 추론 연구는 주로 단일 에이전트의 궤적에서 환경 제약을 찾는 데 집중했고, 다중 에이전트 궤적을 쓰는 경우에도 특정 파트너의 물리 한계보다 에이전트 간 상호작용 제약을 다뤘다.
Watch, Infer, Coordinate는 2D rod carrying, fixed-base dual-UR5, mobile dual-UR5의 세 가지 물리 결합 운반 설정으로 벤치마크를 구성한다. 제약 후보마다 제한적 합리성 행동 모델로 두 로봇의 결합 행동 분포를 예측하고, 관찰된 행동 쌍의 로그 가능도로 점수를 매겨 제약 신념을 만든다. 복잡한 설정에서는 오프라인으로 학습한 모델이 상태와 후보 제약을 받아 점수를 추정하며, 시험 단계에서는 추론된 제약 아래 CEM 모델 예측 제어로 헬퍼 행동을 계획한다.
정규화 해밍 거리 기준 추론 오차는 N=8 시연에서 2D rod 0.002, fixed-base dual-UR5 0.019, mobile dual-UR5 0.009로, 같은 조건의 CE-CM-Div 0.302, 0.074, 0.250보다 크게 낮았다. 두 로봇 행동을 모두 쓰면 파트너 행동만 쓸 때보다 fixed-base에서 오차가 약 절반으로 줄었고, mobile과 2D 일부 예산에서도 개선됐다. 장애물이 있는 새 과제에서 성공률은 2D rod 92.6%, fixed-base 85.2%, mobile 63.0%로 Oracle CEM의 96.3%, 88.9%, 70.4%에 근접했고, SNA는 각각 72.0%, 31.1%, 34.5%였다. 행동 복제는 새 과제에서 세 설정 모두 성공률 0%를 보였다. 모든 결과는 시뮬레이션 3개 시드 평균±표준오차다.
저자들은 알려진 행동 모델, 목표와 동역학, 완전 관측, 유한한 제약 후보 집합을 가정해 핵심 문제를 분리했다고 밝혔다. 직접 비교 가능한 기존 방법이 적고, 평가는 시뮬레이션에 한정됐으며 실물 로봇 실험은 보고되지 않았다. 코드와 평가 스크립트 공개를 계획하고 있으나 아직 공개 여부는 논문에 명시되지 않았다.
다중 로봇 물류, 제조 현장의 공동 운반, 이종 로봇 협업에 응용 가능성이 있다. 다만 현재는 시뮬레이션과 알려진 행동 모델 전제가 있어, 실제 도입까지는 1~3년 정도의 실물 검증과 미지의 파트너 행동 모델 학습, 부분 관측 대응이 필요하다. 로봇 열화 진단과 재계획을 묶으면 고장난 암이나 모바일 베이스와의 안전한 협업에 쓸 수 있다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.