EC-VLA, VA-VLA, EMG와 시각 주석을 언어 대신 조건으로 넣어 혼잡 장면 성능 개선
존스홉킨스 APL 연구진이 공개한 프리프린트에서 Vision-Language-Action 모델에 언어 대신 8채널 근전도 신호나 시각 분할 주석을 연속 조건으로 넣는 EC-VLA와 VA-VLA를 제안했다. 실물 SO-101 팔 실험에서 EC-VLA는 물체가 적은 정상 장면에서는 언어 프롬프트 기준 모델과 성공률이 같았지만, 물체를 추가한 혼잡 장면에서는 성공률이 30%에서 50%로 올랐고 완전 실패율은 50%에서 4%로 줄었다. RoboCasa 시뮬레이션의 VA-VLA도 혼잡 장면에서 기준 모델 대비 성공률이 11%에서 20%로 올라 비언어 조건이 작업 명시에 유리할 수 있음을 보였다.
언어 프롬프트 대신 EMG나 시각 주석 같은 비언어 연속 신호를 VLA의 상태 입력에 추가하면, 특히 혼잡하거나 모호한 장면에서 작업 조건화 성능이 좋아지는가?
VLA는 멀티모달 입력을 받지만 작업 정의를 언어에 크게 의존한다. 복잡하거나 물체가 많은 장면에서는 어떤 물체를 어디로 옮길지 언어로 정확히 표현하기 어렵고, 고정된 텍스트 프롬프트는 실행 중 변하는 의도나 시각 정보를 반영하지 못한다.
기존 VLA 튜닝은 '왼쪽에서 두 번째 큐브를 집어 상자에 넣어라' 같은 구체적인 텍스트 프롬프트를 사전에 주고 고정하는 방식이다. EEG, EMG를 이용한 공유 제어나 RT-Trajectory, MOO 같은 시각 프롬프트 연구가 있지만, VLA 자체의 상태 입력에 사람의 생체 신호나 분할 주석을 연속 조건으로 통합해 언어를 생략하는 비교는 부족했다.
EC-VLA는 8채널 EMG 포락선을 6차원 관절, 그리퍼 상태 벡터에 이어붙여 SmolVLA를 튜닝했다. 훈련과 평가에서 사람이 손목 제스처로 왼쪽, 오른쪽 선택이나 블록 선택 의도를 실시간 제공하며, 텍스트는 '큐브를 집어 상자에 넣어라'라는 상수 프롬프트만 쓴다. VA-VLA는 RoboCasa의 세 RGB 뷰 중 좌우 이미지에 분할 마스크로 목표 물체는 초록, 목적지는 파랑으로 표시해 π0.5를 튜닝했고, 언어는 '물체를 집어 놓아라'만 쓴다. 두 방식 모두 작업 명시 정보를 매 타임스텝 상태로 공급한다.
실물 SO-101 팔 큐브 선택 과제에서 참가자 3명 각각에 대해 튜닝한 EC-VLA 모델 3개와 기준 SmolVLA를 각 30회(정상 20회, 혼잡 10회) 평가했다. EC-VLA 평균 과제 완료 점수는 정상 0.91에서 0.94로, 혼잡 0.43에서 0.82로 올랐다. 혼잡 성공률은 0.30에서 0.50으로, 완전 실패율은 0.50에서 0.04로 줄었다. RoboCasa 시뮬레이션 16개 pick-and-place 작업에서 VA-VLA는 π0.5 기준 모델 대비 전체 완료 점수 0.62에서 0.66, 성공률 0.27에서 0.31이었다. 혼잡 변형 8개 작업에서는 완료 점수 0.35에서 0.51, 성공률 0.11에서 0.20, 완전 실패율 0.47에서 0.25로 차이가 더 컸다.
저자들은 앞으로 필요한 안내량이 얼마인지, 새 사용자나 객체 추적, 분할 시스템으로 배포할 때 성능 저하가 없는지 확인해야 한다고 밝혔다. EC-VLA는 참가자 3명의 개인별 모델이고 평가가 모델당 30회로 작으며 참가자별 EMG 특성에 의존한다. VA-VLA는 RoboCasa 시뮬레이션과 시뮬레이터의 세그멘테이션 마스크를 사용해 실물 로봇 및 실제 인식 시스템에서의 검증이 없다. 코드 공개 여부는 논문에 보고되지 않았다. 프리프린트로 동료 심사 여부는 확인되지 않았다.
협동 로봇이나 물류 피킹, 보조 로봇에서 작업자가 언어로 일일이 지시하기 어려운 혼잡한 현장에서 EMG 같은 의도 신호나 카메라 기반 물체 강조를 활용할 수 있다. 특히 EMG는 웨어러블 인터페이스가 성숙하면 1~3년 안에 실시간 원격 조작이나 공유 제어에 적용 가능성이 있다. 다만 그 전에 EMG 센서의 사용자 간 일반화, 시각 주석을 위한 실시간 객체 인식, 분할, 실물 로봇에서의 추가 검증이 필요하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.