벽에 붙인 인쇄 이미지 하나로 로봇 작업 바꿔치기, 실제 15회 중 8회 성공
중산대 등의 프리프린트에 따르면 벽에 붙인 인쇄 이미지 하나가 GR00T 기반 정책으로 움직이는 실제 로봇팔을 속여, 장난감 벌을 집으라는 지시에도 시계를 집게 만든 경우가 15회 중 8회로 기존 공격 기법(15회 중 4회)의 두 배였다. 시뮬레이션에서 폐루프 공격 TRACO는 VLA 모델 5종을 학습 배치에서 85.2% 확률로 다른 작업으로 돌렸고, 기존 방식은 46.9%였다.
로봇이 보는 영상만 교란 신호나 인쇄 패치로 바꾸는 공격자가 시각언어행동(VLA) 모델에 사용자가 요청한 것과 다른 작업을 얼마나 안정적으로 시킬 수 있는가, 그리고 공격을 폐루프로 최적화하면 더 강해지는가를 묻는다.
VLA 모델은 사용자의 말이나 문자 지시를 따르므로 카메라 입력 자체가 보안 공격면이 된다. 기존 공격은 기록된 목표 궤적에 맞춰 오프라인으로 교란을 조정했다. 교란이 로봇의 초기 동작을 바꾸면 기록에 없던 상태로 들어가 고정된 목표가 쓸모없어지고 공격이 중간에 실패하기 쉬워, 실제 위험을 가늠하기 어려웠다.
Action Attack과 TRAP은 기록된 궤적의 고정 목표 행동에 맞춰 전역 교란이나 적대적 패치를 최적화하며 평균 행동 오차를 줄인다. 기록 프레임에서 오차가 낮아도 실제 실행에서 공격자의 작업이 완수된다는 보장은 없었다.
TRACO는 기존 표적 공격을 반복 고리로 감싼다. 공격받은 로봇을 실제로 돌려 도달한 상태에 맞게 목표 지도 신호를 다시 만들고, 작업 진행이 멈춘 구간에 업데이트를 집중하면서 이미 성공한 앞 단계의 지도 신호는 유지한다. 인쇄 패치에는 물리 환경 견고성을 위해 호모그래피와 색 보정을 더했다.
LIBERO에서 StarVLA 계열과 LangForce 등 모델 5종 평균 전역 교란 공격 성공률은 학습 배치 46.9%에서 85.2%로 38.3%포인트(MEKAWIRE 계산), 처음 보는 배치 43.2%에서 75.9%로 올랐다. GR00T 정책은 63.2%에서 96.4%였다. 패치 공격 상승폭은 평균 46.6%에서 53.5%로 작았고 OFT 모델에서는 오히려 기존보다 낮았다(19.2% 대 23.6%). SimplerEnv의 InstructVLA에서는 TRAP 패치 성공률을 64.0%에서 72.8%로 높였다. GR00T 정책을 쓴 실제 SO-101 로봇팔은 공격이 없을 때 15회 모두 지시 작업을 해냈지만, 인쇄한 TRACO 패치는 15회 중 8회 작업을 바꿨다(Action Attack 4회). 전역 공격 제작 시간은 약 88.8분으로 Action Attack의 396.3분보다 77.6% 짧았다(MEKAWIRE 계산).
프리프린트이며 방어가 아닌 공격 연구다. 실제 로봇 실험은 저가 로봇팔 1대, 작업 쌍 1개, 15회다. 공격 제작에 정책 내부 접근(화이트박스)과 로봇이나 시뮬레이터 반복 실행이 필요해 실제 공격자가 갖추기 어려울 수 있다. 패치는 전역 교란보다 효과가 작고, 고정된 정책이 공격받은 상태에서 목표 작업으로 갈 수 있어야 통한다. 진행도는 말단 위치로 추정해 집기 성공 여부를 다 반영하지 못한다.
매장, 병원, 방문객이 드나드는 물류센터처럼 외부인이 접근할 수 있는 곳에 VLA 로봇을 배치하려는 기업에 측정된 경고다. 사용자 지시는 그대로인데 인쇄 이미지 한 장이 로봇이 집는 물체를 바꿀 수 있다. 엔비디아 GR00T 계열과 공개 VLA가 대상에 포함됐다. 서비스 로봇을 실증 중인 국내 기업과 인증 기관도 영상 입력에 대한 적대적 시험, 지시와 행동을 대조하는 작업 단위 점검, 로봇 시야 관리 요구를 검토할 시점이다. 다만 현재는 화이트박스 접근이 필요해 공개 가중치나 유출 모델에 위협이 한정된다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.