TRACE: 대화로 휴머노이드 동작을 만들고 고치는 이벤트 기반 확산 모델

발 지지, 몸통 높이, 손 높이처럼 측정 가능한 이벤트를 먼저 예측하고 이를 이후 수정 범위를 정하는 데 쓰면, 휴머노이드 동작 생성기를 텍스트에 더 충실하면서 대화로 고칠 수 있게 만들 수 있는가.

문장은 언제 어느 발로 몸을 지탱하는지, 손을 얼마나 올리는지 거의 알려주지 않아 기존 모델은 학습 동작과 다른 구조를 임의로 채운다. 수정은 더 어렵다. '손을 더 올려'처럼 상대적인 요청은 현재 동작을 기준으로 해석해야 하고 나머지는 그대로 둬야 하는데, 수정을 거듭할수록 동작이 흐트러진다.

MDM, MoMask, MotionGPT3 같은 텍스트 동작 모델은 문장을 궤적이나 동작 토큰으로 바꾸고, TextOp, TeXedo, ECHO, OMG 같은 휴머노이드 전용 모델은 G1을 직접 겨냥한다. 언어모델 플래너는 지시를 세부 설명으로 쪼개고, TMED와 SimMotionEdit 같은 편집기는 텍스트와 기존 동작에서 변화를 학습하지만 무엇을 바꿀지 유형화한 설명은 없다.

언어모델이 좌우 발 지지, 몸통 수직 속도와 높이, 좌우 손 높이 구간으로 이뤄진 희소 이벤트 계획을 예측한다. 정답 라벨은 문장이 아니라 짝을 이룬 학습 동작에서 계산한다. 시간 정렬된 계획 인코딩이 텍스트와 함께 확산 생성기에 들어가며, 생성기는 중력 기준 상태와 궤적, 발 접촉 목적함수를 쓴다. 편집 단계에서는 유형화된 요청이 바꿔도 되는 신체 부위와 시간 구간, 원본 대비 목표를 정하고, 별도의 참조 조건부 확산 편집기가 변경을 수행하며, 샘플링 중 투영으로 보호할 좌표를 고정한다.

G1으로 리타기팅한 BONES-SEED 테스트에서 TRACE의 R@1, R@2, R@3는 73.84%, 86.24%, 90.31%로 MotionGPT3의 68.46%, 81.29%, 85.81%보다 높았다. FID는 0.0628에서 0.0434로, MM-Dist는 0.8886에서 0.8165로 낮아졌다. 100개 지시문과 16명 참가자의 사용자 평가에서 1~3점 척도로 품질 2.338, 텍스트 일치 2.444, 종합 2.391점을 받았고, 종합 점수가 가장 높은 경쟁 모델은 ECHO의 1.469점이었다. 편집은 보류해 둔 G1 동작 199개에 5cm 손 높이 변경 요청을 4턴씩 이어 붙인 597개 시퀀스로 시험했으며, 연구진은 TMED와 SimMotionEdit 적용판보다 전 턴 성공이 안정적이었다고 밝혔다(수치는 그림으로만 제시).

프리프린트다. 텍스트와 평지 운동학만 다루고 주변 환경 인식은 없으며, 접촉 목적함수가 발 미끄러짐을 줄이지만 없애지는 못한다고 연구진은 밝혔다. 지표는 생성된 동작을 평가할 뿐 예측한 이벤트를 정확히 지켰는지는 보지 않는다. 실제 로봇 근거는 부록의 정성 시연뿐으로 하드웨어 성공률은 없고, 편집은 손 높이 변경만 시험했다.