바닷속 로봇 학습: NYU의 수중 로봇 정책, 수영장 93.3% 성공과 2차대전 난파선 66.7%
뉴욕대와 몰타대 연구팀이 소형 수중 로봇을 스스로 조종하고 물체를 다루도록 모방학습 정책을 훈련했다는 프리프린트를 공개했다. 수영장에서 최고 모델은 부분 성공을 포함해 93.3%를 기록했고, 몰타 앞바다 2차대전 난파선에서는 로프에 기체를 계류하는 작업을 66.7% 성공했다.
육상의 고정형 로봇팔에서 통하는 행동 복제와 VLA(시각언어행동) 모델이 해류에 흔들리고 탁한 물속을 보는 원격조종 수중로봇(ROV)도 제어할 수 있는가.
수중 로봇은 고정된 기반이 없어 파도와 해류에 6자유도로 계속 흔들린다. 카메라 시야와 집게 위치가 끊임없이 바뀌고, 깊이에 따라 빛이 줄고 부유물이 영상을 흐린다. 그래서 수중 점검과 작업 대부분은 여전히 사람이 조종한다.
기존 수중 학습 연구는 대부분 육상에서 학습한 정책을 옮기거나 인식에 머물렀다. 허깅페이스의 SmolVLA 같은 범용 정책과 단일 작업용 ACT는 책상 위 로봇팔에서만 검증됐다.
연구팀은 수영장에서 잔잔한 물과 사람이 만든 난류 조건으로 나눠 원격조종 시연 1616건을 모으고, 입력받는 자세 정보만 다른 범용 모델 DynamicVLA 14종을 훈련했다. 정책은 조종사가 쓰는 것과 같은 조이스틱형 명령을 블루로보틱스 BlueROV2에 보낸다. 현장에서는 몰타의 마리나와 코랄리타 X127 난파선에서 748건을 모아 ACT와 SmolVLA를 비교했다. 데이터 수집과 학습, 배치 코드는 BluEmbodied Kit로 공개했다.
수영장 실기 평가 1260회(모델당 90회, 과제 3종 각 30회)에서 14개 모델 중 10개가 카메라만 쓰는 기준 모델(부분 성공 포함 60.0%, 엄격 기준 46.7%)을 앞섰다. 롤과 피치, 요 정보만 더한 최고 모델은 부분 성공 포함 93.3%, 엄격 기준 72.2%였다. 20단계 행동 묶음 한 번 추론에 약 95~129ms가 걸렸다. 바다에서는 평가 508회 합산 ACT가 47.9%로 SmolVLA(7.9%)를 크게 앞섰다. ACT 한 체크포인트로 난파선 로프 계류 66.7%(21회), 마리나 사다리 계류 56.3%(206회), 난파선 기둥 계류 36.8%(19회)를 기록했다.
프리프린트다. 수영장은 얕고 작으며 실제 해류가 없고 난류는 사람이 손으로 만들었다. 93.3%는 다른 색 막대를 잡은 경우를 부분 성공으로 셈한 수치이며 엄격 기준은 72.2%다. 현장 시험 횟수가 14회에서 206회까지 달라 신뢰구간이 넓은 항목이 많다. 집게가 단순한 소형 점검용 ROV 한 기종만 썼다.
해상풍력과 해양플랜트, 항만, 양식장의 수중 점검은 조종사 투입 시간이 곧 비용이다. 현장 시연 데이터 소량과 기본 자세 센서만으로 단순 파지와 계류 작업을 2~4년 안에 자동화할 수 있다는 신호로, 국내 조선과 해양 장비 업계의 수중 드론 사업에도 참고가 된다. 다만 SmolVLA의 낮은 현장 성과는 범용 모델이 현장 데이터 없이는 물속에서 통하지 않는다는 점을 보여준다.
논문 전문
CC BY 4.0 라이선스로 공개된 논문으로, 전문은 출처를 밝혀 영어로 전재했습니다: 전문 보기(영어). 원문은 arXiv:2610.38199(PDF)에서 볼 수 있습니다.