SafeDriveVLA, 위험한 음성 지시에서 충돌 60건을 38건으로 줄이고 주행점수 72.8을 85.9로, 따르기 전에 결과를 상상하는 자율주행 VLA

'지금 차선 바꿔', '무슨 일이 있어도 초속 8m 유지' 같은 자유 형식 지시를 받는 주행용 시각언어행동(VLA) 모델이 안전한 지시는 확실히 따르고 상황과 충돌하는 지시는 알아채고 거부할 수 있는지를 묻는다.

주행 VLA는 정해진 경로 명령 대신 자연어로 내비게이션을 받을 수 있게 했지만, 그만큼 새로운 실패 경로가 생겼다. 부주의한 운전자는 현재 교통 상황에서 위험한 요청을 할 수 있고, 악의적인 사용자는 일부러 그럴 수 있다. 지시 수행과 충돌 인식을 폐루프에서 함께 재는 벤치마크가 없었고, 연구진은 기존 모델이 둘 다 약하다는 것을 확인했다. SimLingo는 자체 논문에서 개루프 차선 변경 성공률 83%를 보고했지만 폐루프 시험에서는 언어로 지시한 차선 변경을 한 번도 완수하지 못했다.

명령 기반 주행 VLA는 소수의 이산 경로 명령만 따른다. 자유 형식 언어를 받는 대표 모델 SimLingo는 프롬프트 태그로 지시 수행이나 안전 중 하나를 우선하는데, 지시 수행을 우선하면 위험한 지시도 그대로 실행한다. 주행용 월드모델은 전문가나 계획된 행동을 펼쳐볼 뿐, 지시를 글자 그대로 따르면 무슨 일이 생기는지는 묻지 않았다.

연구진은 CARLA와 NAVSIM에 벤치마크 4종을 만들었다. 폐루프 내비게이션 추종(CARLA-F), 지시와 상황의 충돌(B2D-C, NavSim-C), 적대적 지시(B2D-Adv)다. InternVL3-1B와 행동 코드북으로 만든 모델은 행동을 생성하기 전에 엄격, 신중, 대안 세 가지 준수 모드 가운데 하나를 명시적으로 예측한다. 이때 내비게이션 신호를 엄격히 따랐을 때의 가까운 미래를 월드모델이 '꿈꾸듯' 생성해 언제 따르는 것이 안전한지 알려준다.

표준 Bench2Drive에서 주행점수 88.16, 성공률 68.64%로 같은 PDM-Lite 데이터로 학습한 SimLingo보다 각각 2.15점, 1.89%포인트 높았다. 언어가 유일한 내비게이션 신호인 충돌 벤치마크 B2D-C에서는 85.9점, 성공률 67.3%로 SimLingo 안전 모드(72.8점, 38.0%)를 앞섰고, 충돌은 60건에서 38건(36.7% 감소), 교통 위반은 61건에서 9건, 경로 이탈은 11건에서 4건으로 줄었다. SimLingo의 지시 수행 모드는 56.3점, 충돌 166건으로 무너졌다. 폐루프 내비게이션 추종에서 언어 지시 평균 완수율은 55.6%에서 83.0%로, 차선 변경 완수율은 0%에서 63.6%(왼쪽), 72.4%(오른쪽)로 올랐다. 다만 명령 전용 모델 ORION의 평균(87.8%)에는 못 미쳤다. 적대적 지시를 받으면 점수가 94.7에서 83.9로 10.8점 떨어져 SimLingo의 19.7점 하락(95.7에서 76.0)의 절반 수준이었다.

프리프린트이며 모든 폐루프 결과는 시뮬레이션이다. 준수 모드 정답은 실제 운전자 의도가 아니라 전문가 궤적에서 운동학 규칙으로 추정했고, 지시문은 진짜 자유 발화가 아닌 정해진 표현 집합에서 뽑았다. 월드모델이 지시 속도를 반영하지 못해 속도 요청 처리는 거칠다. 단일 카메라 CARLA 모방학습 정책이라 연구진은 자체 NavSim-C 시험에는 넣지 않았고, 일반적인 회전에서는 명령 전용 모델에 뒤진다.