ForceBench: 로봇 조작 AI에 힘 센서를 어떻게 넣을 것인가를 가리는 벤치마크
베이징대 연구진이 로봇 AI 모델이 손목 힘 센서 값을 어떻게 써야 하는지 비교하는 공통 시험대를 만들었다. 가장 단순한 방법, 즉 힘 측정값을 모델의 텍스트 프롬프트에 숫자로 넣는 방식이 가장 고르게 효과를 냈고 실제 로봇팔에서 평균 성공률을 40%에서 63%로 끌어올렸으며, 복잡한 시계열 방식은 조립 작업에서 오히려 성능을 떨어뜨렸다.
6축 손목 힘과 토크 값을 비전-언어-행동(VLA) 정책에 어떤 방식으로 넣어야 하며, 물체 성질 추정과 저항 대응, 접촉이 많은 조립 작업에 따라 효과가 어떻게 달라지는가.
힘 인지 로봇 정책들은 서로 다른 과제와 시연 데이터, 제어기에서 만들어져 성능을 직접 비교할 수 없었다. 평균 성공률 하나로는 힘 정보가 어떤 작업에는 도움이 되고 어떤 작업에는 해가 되는지 드러나지 않는다.
기존 연구는 힘 토큰을 시각과 언어 특징에 융합하거나, 고주파 힘 이력을 인코딩하거나, 접촉 예측으로 힘 정보 사용 시점을 조절하거나, 힘 지식을 시각 모델에 증류해 배치 시 센서를 빼는 방식을 각자의 환경에서 평가했다.
ForceBench는 질량 같은 물성 추정, 저항이 있는 상호작용, 접촉이 많은 조립의 세 범주 8개 과제로 구성된 시뮬레이션 벤치마크다. 질량과 무게중심, 저항을 무작위로 바꾸고 제어 15Hz, 물리 60Hz로 동기화된 시연 1600건을 담았다. 연구진은 같은 pi-0.5 바탕 모델에서 힘 없는 기준선과 여섯 가지 설계, 즉 연속 토큰 융합, 프롬프트에 숫자로 넣기, 출력 근처 교차 어텐션, 미래 힘 예측 손실을 더한 토큰 융합, 시계열 설계 두 종을 비교하고 ForceVLA를 외부 비교 대상으로 썼다.
시뮬레이션에서 프롬프트 융합이 평균 성공률 35.31%로 힘 없는 기준선(23.25%)을 크게 앞섰고 세 범주 모두에서 개선됐다. 예측형과 시계열형 설계는 주로 물성 추정 과제에서만 효과를 냈고, 시계열 설계 두 종은 조립 과제에서 기준선보다 낮았다. 6축 센서를 단 프랑카 리서치3 실험(과제 5개, 과제당 시연 200건, 총 800회 시도)에서는 프롬프트 융합과 이중경로 융합이 평균 63.0%로 기준선 40.0%를 앞섰고, 모든 과제에서 기준선을 넘은 것은 프롬프트 융합뿐이었다.
사전공개 논문이다. 시뮬레이션 절대 성공률은 최고 35% 수준으로 낮다. 저자들이 밝혔듯 입력 설계들은 여러 요소가 동시에 달라 통제된 절제 실험이 아니며, 시계열 설계는 참고 기준이다. 실물 검증은 로봇팔 한 종과 과제 5개에 그쳤고, 손끝 촉각이 아닌 손목 힘과 토크 센서만 다룬다.
힘과 토크 센서 업체와 조립, 끼움, 빈 피킹 로봇을 만드는 기업에 공통 잣대가 생겼다. 피지컬인텔리전스 같은 VLA 개발사에는 전용 힘 인코더를 만들기 전에 힘 값을 프롬프트에 넣는 값싼 방법을 기본값으로 삼을 근거가 된다. 로봇 부품 국산화를 추진하는 국내 힘 센서 기업과 협동로봇 업체도 1년 안에 이 벤치마크 수치로 비교받을 가능성이 있다. 시뮬레이션과 실물 수치의 격차는 힘 센싱 성능 주장에 실물 시험이 필수임을 보여준다.
이 논문은 라이선스상 전문을 게재할 수 없어 요약과 원문 링크만 제공합니다.