새로 나온 로봇, 피지컬 AI 논문과, 각 논문이 업계에 갖는 의미.
애지봇과 엔비디아 연구진은 프리프린트 논문에서 실제 로봇이 수행한 동작을 그대로 월드모델에 넣고, 예측 영상이 실패한 파지나 쏟아진 물까지 실제와 같은지 확인하는 벤치마크를 내놨다. 시험한 모델 7종 모두 긴 시간 예측에서 정확도가 떨어졌고 로봇팔 움직임을 잘 따라간 모델도 물리적 결과는 자주 틀려, 월드모델 안에서 로봇을 평가하거나 학습시키려는 기업에 경고가 된다.
엔비디아 연구진이 사람 시연 없이 '조립 성공 또는 실패' 신호만으로 시뮬레이션 속 로봇 팔 하나가 NIST 표준 조립 보드의 20개 과제를 98.2% 성공률로 익혔다는 프리프린트를 공개했다. 아직 모든 결과가 시뮬레이션에 머물러 있어 실제 공장 설비에서도 같은 성능이 나오는지가 핵심 확인 과제로 남았다.
이 논문은 실물 로봇 온라인 강화학습에서 자율 실행과 자동 보조 행동 사이의 제어를 학습하는 UniIntervene++를 제안한다. 다섯 가지 실물 조작 과제에서 평균 성공률 89.67%를 기록해 최고 기준 모델보다 6%포인트 높았고, 인간 개입률은 0.77%로 가장 낮은 기준 모델 대비 94.6% 줄었다. 아직 동료 심사를 거치지 않은 프리프린트이며, 개입 시점과 방식을 정책의 역량 변화에 맞춰 조정한다는 점에서 중요하다.
이 프리프린트는 프론티어 모델의 추론을 저지연 로컬 정책에 연결하는 두 가지 방법을 제안했다. 첫 번째는 교정 시연 세그먼트를 활용한 자율 데모 생성으로, 사람 시연 20개와 생성 시연 20개를 섞은 훈련이 4개 과제에서 사람 시연 40개와 같은 정책 성공 41/80을 보였고, 배포 하네스는 로컬 정책 단독 51.25%보다 높은 65% 성공률을 기록했다. 두 번째는 primitive, atomic, composite 단계와 다중 관점 설명을 결합한 밀집 언어 감독으로, RoboCasa 365와 BEHAVIOR-1K에서 가장 높은 지시 이행 성능을 달성했다.
RATE는 접촉이 많은 로봇 조작에서 과제 조건부 위험을 촉각 표현에 반영하는 프레임워크다. 촉각 이력과 미래 접촉 변화 예측, 경고 신호 지도 학습으로 위험 인지 표현을 만들고 기존 촉각 특징에 잔차 방식으로 더해 정책을 적응시킨다. 이 논문은 프리프린트이며 UniVTAC 시뮬레이션 8개 과제 평균 성공률 71.8%, 실물 로봇 3개 과제에서 기존 방법보다 높은 성공률과 접촉 안전 성공률을 보고했다.
AdaTempo는 시연 데이터의 상대적 템포 구조를 활용해 오프라인에서 궤적을 리샘플링하고 ACT나 Diffusion Policy 같은 표준 정책을 가속 학습시키는 자기지도 방법이다. 시뮬레이션 5개 과제와 실물 6개 과제에서 최대 3.57배 속도 향상을 달성했고, 실물 평균 성공률을 58.3%에서 77.8%로 높이면서 평균 2.02배 빠르게 수행했다. 이 논문은 아직 동료 심사를 거치지 않은 프리프린트다.
KAIST 연구팀이 VLA 모델이 물체를 손상시키지 않고 조작 과제를 끝내는지 평가하는 ManiPhysicsBench를 프리프린트로 공개했다. ManiPhysicsZoo의 91개 객체 자산과 물리 솔버 기반 평가로 LIBERO와 SimplerEnv에서 공개 VLA 체크포인트를 시험한 결과, 평균 과제 성공률 48.3% 대비 안전 성공률은 13.5%에 그쳤다. 그리퍼 지시를 객체별 연속 값으로 다시 학습시키자 안전 성공률은 올랐지만 과제 성공률은 낮아져 보존과 성공의 균형이 과제로 남았다.
연구진은 동결된 비전-언어 모델(VLM) 특징 공간에서 폰 미제스-피셔(vMF) 혼합 프로토타입으로 주행 가능성을 표현하고, 자연어 상대 규칙으로 초기화한 뒤 희소한 상대 이미지 주석으로 미세 조정하는 방법을 제안했다. WayFAST 벤치마크에서 언어 사전 초기화 모델은 HDR 0.5 기준 21.8%로 기존 최고 성능 모델(W-RIZZ)의 22.5%보다 오차율이 낮았고, 적은 주석으로도 빠르게 적응했다. 이 논문은 프리프린트이며, 로봇 플랫폼과 도메인에 따라 다른 주행 가능성 비용을 적은 라벨로 적응시키는 데 의미가 있다.
이 논문은 arXiv에 공개된 프리프린트다. DeltaWorld는 로봇 행동이 유발한 잠재 특징 변화만 예측해 현재 상태에 더하는 Delta-LTM을 제안했고, 로봇과 물체의 상호작용 영역을 강조하는 Interaction-aware Latent Alignment를 함께 적용했다. 자체 수집한 크로스로봇 데이터셋에서 IWS 대비 FVD를 46.6%, LPIPS를 31.1% 줄여 장기 행동 조건 영상 예측 가능성을 보였다.
프리프린트 논문에서 연구진은 LLA-MPC의 일반화된 오픈소스 구현을 제시하고 F1TENTH 실물 로봇에서 저마찰 타이어와 변화하는 노면 조건에서 검증했다. 시스템은 5000개의 후보 물리 모델을 실시간으로 평가해 타이어 파라미터를 온라인 식별하며, 고정 명목 모델이 충돌하거나 정지한 고속 추적 과제를 완주했다. 이는 학습 없이 임베디드 컴퓨터에서 수천 개 병렬 모델을 굴려 급격한 동역학 변화에 적응할 수 있음을 보여준다.
이 프리프린트는 보상뿐 아니라 커리큘럼 게이트, 평가 통계, 레퍼런스 모션도 같은 의미의 프록시로 보고 각각의 발산 조건과 수정안을 제안했다. 시뮬레이션 1.91m 휴머노이드 PPO 계열 실험에서 평균 오차 기반 게이트가 실제로는 고관절 59° 오차를 통과시켰고, 동기화된 푸시 평가는 0.5m/s를 2.0m/s보다 위험하게 분류했다. L1 비용, 피크 오차 게이트, 위상 무작위화, 잔차 피드포워드로 이런 오류를 줄였으며 14.2시간 단일 GPU로 4단계 성장 학습을 시연했다.
호주 시드니대 연구팀이 비주얼모터 모방 정책에서 시각 토큰과 컴팩트 토큰의 직접 어텐션을 차단하고 학습된 레지스터를 통해서만 교차 모달 정보를 전달하는 Register-Routed Delayed Fusion(RRDF)을 제안했다. 이 프리프린트는 시뮬레이션 5개 과제와 실제 로봇 3개 과제에서 기존 dense ACT와 같거나 더 높은 성공률을 보였고, 외형 변화와 미학습 위치 평가에서 우세했다. 위상 일치 입력 프로브에서 상태 대비 이미지 민감도가 낮아져 시각 정보 활용이 개선된 것으로 나타났다.
RYOPO는 별도의 인스턴스 분할기와 객체별 크롭 인코딩 없이 RGB-D 입력에서 객체 검출, 분할, 9자유도 자세 예측을 동시에 수행하는 쿼리 기반 세트 예측기다. NOCS REAL275 전체 객체 평가에서 5도 5cm AP 51.1을 기록해 2단계 방식과 경쟁했고, RTX A6000에서 전체 프레임 자세 추론 31.8 FPS를 달성했다. 이 연구는 arXiv 프리프린트다.
중국 연구팀이 화학 실험 프로토콜을 입력받아 시뮬레이션 장면과 전문가 궤적을 자동 생성하는 RoboChemGym을 프리프린트로 공개했다. 이 프레임워크는 자기 개선 메커니즘으로 11단계 초장기 작업까지 생성 성공률을 유지했고, 생성 데이터로 훈련한 π0 정책은 실물 로봇 평가에서 평균 23.3%포인트의 성공률 향상을 보였다. 화학 실험 자동화를 위한 확장 가능한 데이터 합성과 계층적 벤치마크를 제시한다.
MixVLA는 비전언어행동(VLA) 모델의 제로샷 일반화를 높이기 위해 불변 표현과 비불변 표현을 분리하고 비불변 정보를 적응적으로 섞는 모델 비특정 훈련 프레임워크다. LIBERO-Plus에서 OpenVLA-OFT 대비 전체 성공률을 69.6%에서 76.2%로, RoboTwin 2.0 clean-to-randomized에서 π0.5 대비 46.0%에서 62.4%로 끌어올렸다. 이 논문은 동료 심사를 거치지 않은 arXiv 프리프린트다.
GeoScaffold는 스트리밍 비전-언어-행동 내비게이션 정책에 훈련 시점에만 깊이, 연결성, 주행 가능 마스크를 재구성하게 해 기하 잠재를 학습시키는 프레임워크다. 훈련이 끝나면 보조 모듈을 모두 버리고 RGB와 텍스트만으로 동작하며, R2R-CE와 RxR-CE에서 4B 모델이 여러 7B 비전 단독 내비게이터를 성공률과 SPL로 앞섰다. RTX 4090에서 프레임당 81ms로 처리해 기존 기하 강화 방식보다 9배 이상 빨랐다. 현재 arXiv에 공개된 프리프린트다.
ETH 취리히 연구팀이 희소 보상 장기 과제를 위한 강화학습 커리큘럼 BVER를 제안했다. BVER는 목표에서 시작 상태를, 초기 상태 분포에서 중간 목표를 동시에 확장해 하나의 목표 조건 정책을 학습하며, 시연이나 보상 shaping 없이 비교한 모든 참조 자유 커리큘럼보다 빠르게 학습했고 0.7m 상자 오르기를 유일하게 해결했다. 이 연구는 동료 심사를 거치지 않은 arXiv 프리프린트다.
SARI는 접근 단계는 시뮬레이션, 접촉 단계는 실제 시연으로 분리해 학습하는 프레임워크다. 가우시안 스플래팅 디지털 트윈으로 작업 공간 전반의 접근 궤적을 만들고, 실제 접촉 시연은 소수 위치에서만 수집해 하나의 VLA 정책을 후학습한다. 실제 Franka 로봇의 5개 접촉 중심 과제에서 실데이터 수집 시간을 34.3% 줄였고, 실접촉 시연이 없는 미학습 위치에서 27.5%의 성공률을 기록했다. 이 연구는 arXiv 프리프린트로 공개됐다.
FUSEye는 COCO 사전학습 YOLO26-x 백본을 얼린 채 어안 영상 검출기로 바꾸는 학습 비용이 낮은 프레임워크다. WoodScape 서라운드뷰 벤치마크 MVR 평가에서 AP50을 0.1480에서 0.2661로 끌어올렸고, 전체 미세조정 성능의 84.3%를 유지했다. 이 논문은 프리프린트이며, 전체 라벨의 25%만 써도 전체 라벨 성능의 97.6%를 유지해 로봇이 적은 라벨과 연산으로 어안 카메라의 가장자리 압축 문제를 해결할 가능성을 보여준다.
LOCUS는 같은 클래스의 수납함 여러 개 중에서 숨은 물건이 들어 있을 가능성이 높은 인스턴스를 골라내는 그래프 신경망 파이프라인이다. iTHOR 시뮬레이션 201개 에피소드에서 ECO/N 0.257을 기록해 CLIP, TidyBot, LLM 기반 기준보다 검색 비용을 줄였고, RoboCasa 제로샷 전이와 실제 Stretch 3 모바일 매니퓰레이터 실험에서도 동작했다. 이 논문은 arXiv 프리프린트이며 동료 심사 여부는 보고되지 않았다.
논문은 arXiv 로봇 피드에서 가져옵니다. 요약이 아직 작성되지 않은 논문은 초록의 첫 부분을 보여줍니다.