TGrasp6D: 작업 정보를 담은 비전언어 사전분포와 자세 정제로 구현한 제로샷 작업 지향 6자유도 파지
비전언어모델에 작업에 맞는 도구 파지 위치를 묻는 파지 계획기가 TaskGrasp 벤치마크 310개 사례에서 94.5%의 정확도로 6자유도 파지를 골라 기존 최고 방법(73.7%)을 앞섰고, 프랑카 리서치 3 실제 로봇 시험에서는 100회 중 93회 성공했다고 미국 퍼듀대와 미 육군 데브컴 육군연구소(ARL) 연구진이 프리프린트에서 밝혔다. 작업별 학습 데이터가 필요 없다.
칼로 빵을 자를 때는 손잡이를 쥐고 건네줄 때는 손잡이를 비워두는 것처럼, 물체 용도에 맞는 파지를 RGB-D 이미지 한 장과 문장 지시만으로 작업별 학습 없이 고를 수 있는지를 묻는다.
안정적으로 잡는 것만으로는 절반에 그친다. 작업 지향 파지는 용도에 맞게 잡아야 하지만, 학습 기반 방법은 사람이 붙인 유한한 데이터에 묶이고, 점수화 방식은 작업과 무관한 생성기가 올바른 부위를 아예 제안하지 않으면 손을 쓸 수 없으며, 평면 방식은 이미지 평면 밖에서 접근하는 파지를 배제한다.
GCNGrasp는 TaskGrasp 데이터에 지식 그래프를 전파하고, GraspGPT와 FoundationGrasp는 언어모델 지식으로 작업 무관 생성기의 후보를 점수화한다. GraspMolmo는 대규모 합성 데이터로 비전언어모델을 미세조정하고, GraspCoT는 물리 속성 추론을 더한다.
TGrasp6D는 물체를 마스킹하고 잘라낸 뒤 비전언어모델에 작업에 필요한 부위와 이미지상 위치를 묻고, 그 점을 지나는 그리퍼 닫힘 축을 선으로 받는다. 카메라 기하로 점과 선을 3차원으로 올려 작업 부위 주변의 가우시안 사전분포를 만든다. 여기서 뽑은 후보 파지를 SE(3) 리 대수 위 최적화로 다듬는데, 학습된 그리퍼 거리장으로 물체 점군과의 충돌을 벌점으로 주고 닫힘 영역이 작업 지점을 덮으면 보상한다. 주요 실험의 비전언어모델은 GPT-5.5다.
TaskGrasp 물체와 작업 조합 310개(주석 파지와 IoU 0.1 이상이면 성공)에서 TGrasp6D는 94.5%, 생성 실패율 0%를 기록해 FoundationGrasp 73.7%, GCNGrasp 72.1%, GraspMolmo 65.0%, GraspGPT 61.7%, GraspCoT 7.5%를 앞섰다. 격차는 20.8%포인트다. 자세 정제는 비전언어 사전분포만 쓴 경우(89.4%)보다 5.1%포인트를 더했고 위치 실패를 3.5%에서 1.6%로, 방향 실패를 3.9%에서 0.6%로 줄였지만 부위 선택 오류 3.2%는 그대로였다. 정제 전 모델 비교에서는 GPT-5.5 89.68%, 제미나이 3.7 84.19%, 큐웬3.5-35B 75.16%였고 큐웬은 입력의 19.7%에 답을 내지 못했다. 프랑카 리서치 3 실기 시험(물체 5개, 조합 10개, 조합당 10회)에서는 100회 중 93회 성공해 GraspGPT 41회, FoundationGrasp 52회를 앞섰고 모든 조합에서 10회 중 8회 이상 성공했다.
RGB-D 시점 하나만 써서 깊이 잡음과 자기 가림에 약하며, 실기 실패 대부분이 주전자와 분무기에서 이 때문에 났다. 클라우드 대형 모델에 의존해 지연과 API 비용이 생기고, 한 번에 작업 부위 하나만 다루며, 정제 단계가 접촉 역학이나 폐루프 보정을 반영하지 않는다. 실패한 파지의 방향과 위치 오차는 학습 기반 비교 방법보다 컸다. 실기 시험은 팔 한 대, 물체 5개에 그친다. 프리프린트다.
공구 건네기나 쓰임새에 맞춘 파지는 서비스, 물류, 조립 로봇에 늘 필요한 기능이지만 지금은 대부분 부품마다 손으로 프로그래밍한다. 실기 성공률을 학습 기반 방법의 두 배 이상(100회 중 93회 대 41회)으로 끌어올린 제로샷 계획기는 새 부품을 라벨링 대신 문장 지시로 다루게 해준다. 다만 클라우드 모델 지연이 따른다. 국내에서는 다품종 공정에 협동로봇을 넣는 시스템통합 업체와 국방 로봇 과제가 관심을 가질 만한 기술로, 사내 구축형 모델이 GPT-5.5 수준에 다가서면 1~2년 안에 집어서 쓰는 작업 셀 시범 도입이 가능하다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.