KODA: 사람 1인칭 영상을 휴머노이드 전신 학습 데이터로 바꾸는 운동학-관측 정렬 기법
이 프리프린트는 사람이 가슴에 단 아이폰으로 찍은 영상을 유니트리 G1 휴머노이드가 배울 수 있는 데이터로 바꾸고, 로봇 카메라에 보였을 장면까지 합성한다. 과제당 로봇 시연 50개에 변환한 사람 영상 100개를 더하자 처음 보는 물체 조건의 성공률이 약 45%포인트 올랐다.
값싼 1인칭 사람 영상을 로봇 시연을 더 모으지 않고도 여러 저수준 제어기에서 쓸 수 있는 휴머노이드 전신 학습 데이터로 바꿀 수 있는가.
휴머노이드 전신 VLA 정책을 학습하려면 로봇 카메라 영상과 제어기별 관절 명령이 맞물린 로봇 시연이 필요한데, 원격조종으로 모으기에는 느리고 비싸다. 사람 영상은 싸지만 시점이 다르고 머리와 손 정도의 성긴 움직임 정보만 담는다.
기존 방법은 사람 데이터로 사전학습한 뒤에도 대상 로봇 데이터로 적응해야 했거나(EgoVLA, WholeBodyVLA), 특정 제어기에 묶인 명령으로 변환했다(EgoHumanoid, HALOMI). 카메라도 고정 오프셋으로 옮겨 생성된 로봇 동작을 따라가지 못했고, 결국 제어기마다 데이터가 따로 놀았다.
KODA는 카메라 자세와 리타기팅한 손 정보로 MuJoCo에서 물리적으로 검증된 전신 궤적을 만들고, 명령 잔차를 교차엔트로피 방식으로 탐색해 추종 오차를 줄인다. 이어 사람 팔을 지우고 깊이로 장면을 재투영한 뒤 렌더링한 로봇을 합성하고 빈 곳을 인페인팅해 로봇 머리 카메라 시점 영상을 만든다. 동작과 영상, 지시문은 재사용 가능한 기준 기록이 되고, 제어기(SONIC 또는 HEFT)마다 이 기록을 추종하는 명령과 상태를 다시 생성해 엔비디아 GR00T N1.7 공동학습에 쓴다.
브레인코 손을 단 G1의 4개 과제(컵을 바구니에, 소포를 선반에, 바구니를 선반에, 컵을 서랍에)에서 과제당 로봇 시연 50개와 변환 사람 시연 100개를 함께 쓰자, 사람 영상에만 있던 물체 조건의 평균 성공률이 SONIC에서 3.75%에서 48.75%로 45.0%포인트, HEFT에서 46.25%포인트 올랐다. 사람 데이터를 25, 50, 75, 100개로 늘릴수록 성공률이 계속 오르는 추세였다.
저자들은 손과 물체의 세밀한 접촉을 아직 충실히 재현하지 못한다고 인정했다. 평가는 로봇 한 대의 4개 과제, 조건당 20회 시도라 수치가 5%포인트 단위로 움직이며, 공동학습에는 여전히 로봇 시연이 필요하다. 손 자세 추정과 분할, 인페인팅, 깊이 추정 등 대형 모델을 여러 개 잇는 구조라 연산 비용도 따져봐야 한다.
휴머노이드 업체와 데이터 기업이 원격조종 데이터에 큰돈을 쓰는 상황에서, 사람 영상을 제어기 간에 재사용하는 방법은 그 비용을 직접 겨냥한다. 유니트리 G1 사용자와 엔비디아 GR00T 기반 팀, 1인칭 데이터를 대량 확보한 연구실에 의미가 크다. 국내에서도 생산기술연구원 같은 기관이 구축 중인 사람 동작 데이터 플랫폼과 결합할 여지가 있으며, 데이터 서비스로 나오기까지 12~24개월로 본다.
논문 전문
KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
CC BY-NC-SA 4.0 라이선스로 공개된 논문입니다. 출처를 밝혀 전재하며, 원문은 arXiv:2610.21152(PDF)에서 볼 수 있습니다.
\project
https://koda-humanoid.github.io/koda/
Abstract
Training humanoid whole-body vision–language–action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state–action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics–Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state–action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state–action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.
Keywords: Egocentric Human Data, Humanoid Loco-Manipulation
††