실시간 VLA를 위한 단계 인지 2단계 Flow 디노이징과 시스템 수준 평가

VLA 모델의 저속 추론과 로봇의 고속 제어 사이 시간 불일치를 줄이기 위해 Flow Matching 디노이징 단계를 비균일하게 줄이고, 시스템 지연을 통합 관리하는 실행 체계를 만들 수 있는가?

VLA 모델은 행동 청크를 주기적으로 예측하지만 모델 추론, 카메라 판독, 고유수용 피드백, 통신, 로봇 응답 지연이 누적되어 새 행동이 현재 상태와 어긋난다. 비동기 실행은 추론과 실행을 겹치지만 이전 관측에 기반한 행동을 계속 실행해 청크 경계에서 불연속이 생기고, 과거 상태에 고정된 행동이 현재 환경과 불일치한다. 실제 측정에서 카메라 타임스탬프 오프셋 17.7 ms, 이미지 판독 32.8 ms, 고유수용 피드백 26.4 ms, 명령-모션 응답 15.3 ms가 확인됐다.

기존 연구는 증류나 샘플링 단계 축소로 모델 생성 속도를 높이거나, 실행된 행동 접두사를 고정하는 RTC, 미래 상태를 예측하는 VLASH, 청크 간 연속성을 학습하는 Legato, 로컬 제어와 센서 타이밍 보정 등으로 문제를 다뤘다. 그러나 기반 모델, 로봇 플랫폼, 과제, 하드웨어가 제각각이라 공정한 비교가 어렵고, 모델과 실행 체인을 아우르는 통합 지연 측정과 최적화가 부족했다.

Flow Matching 속도장을 분석해 초기와 중기에는 크기와 방향이 안정적이고 종단에서 방향 보정이 집중되는 단계 이질성을 확인했다. 이를 바탕으로 1에서 0.3, 0으로 가는 비균일 스케줄로 첫 단계에서 긴 구간 생성, 둘째 단계에서 SnapFlow 단구간 종단 정제를 수행하는 2단계 비균일 디노이징을 설계했다. 학습 시 표준 Flow와 2단계 분기를 동일 확률로 선택하고, 배포 시 행동 전문가를 두 번만 평가한다. 또한 분산 스레드 분리 프레임워크로 관측 획득, 정책 추론, 행동 버퍼링, 시간 정렬, 로컬 제어를 독립적으로 운영하고 행동 출처 로깅을 제공한다.

모델 측에서는 620회 추론 기준 표준 10 NFE Flow의 평균 추론 시간이 61.557 ms였고, 2단계 비균일 기법은 NFE 2로 줄여 21.956 ms, 2.804배 속도 향상, 64.33% 시간 감소를 달성했다. 고정 오프라인 입력에서 두 시퀀스의 관절 MAE는 표준 0.008525/0.006503 rad, 2단계 0.008396/0.006797 rad로 비슷했다. 실물 양팔 Agilex Piper 로봇으로 긴 수평 티셔츠 접기 과제를 3가지 의류 각 10회, 방법당 30회, 총 180회 시행한 결과 Legato가 96.7% 성공률, 73.56초 평균 완료 시간, 47.31 h⁻¹ 처리량으로 학습 기반 방법 중 최고였고, VLASH가 93.3%, 43.22 h⁻¹로 뒤를 이었다. 비학습 기반에서는 Temporal Smoothing이 76.7%, 29.38 h⁻¹로 가장 우수했다. Naive Asynchronous는 63.3%, Inference-time RTC는 60.0%에 그쳤다. Legato는 좌측 세 번째 관절에서 Tail Gap 0.0193 rad, Switch Gap 0.0062 rad, 최대 가속도 46.6 rad/s²를 기록했고, Naive Asynchronous는 최대 가속도 744.1 rad/s²에 달했다. 2단계 디노이징을 Legato에 결합하면 성공률 86.7%, 추론 21.956 ms, 1.676배 속도 향상, Temporal Smoothing 결합 시 성공률 70.0%, 2.804배 속도 향상을 보였다.

이 연구는 프리프린트이며 동료 심사 여부가 확인되지 않았다. 실험은 단일 π0.5 기반 정책, 단일 양팔 로봇 플랫폼, 티셔츠 접기라는 하나의 장기 과제로 제한됐고, 방법 간 유의성 검정은 수행되지 않았다. 2단계 NFE 압축을 Legato와 Temporal Smoothing에 적용했을 때 성공률이 각각 10.0%p, 6.7%p 하락하고 연속성 지표가 약 20% 악화되어 공격적 샘플링 단계 축소가 품질 손실을 동반한다. 다양한 로봇, 작업, 환경으로 일반화 성능은 논문에 보고되지 않았다.