새로 나온 로봇, 피지컬 AI 논문과, 각 논문이 업계에 갖는 의미.
Scaling robot manipulation policies requires large amounts of diverse, action-labeled data, yet collecting such data in the real world remains expensive and difficult to scale. Existing methods either depend on human teleoperation, rely on simulation with limited visual realism, or use human videos that lack embodiment-specific annotations.
Generalist robot policies are trained with imitation learning and are bounded by the quality and coverage of their demonstrations. Reinforcement learning can improve and extend them, either by fine-tuning the policy weights or by training a small module to steer the input noise of a frozen generative policy.
Action-conditioned world models offer a promising foundation for generalist robotic intelligence by predicting the consequences of actions. However, existing robotic datasets provide limited coverage of the diverse interaction dynamics required for generalizable world modeling.
이 논문은 arXiv에 공개된 프리프린트다. DeltaWorld는 로봇 행동이 유발한 잠재 특징 변화만 예측해 현재 상태에 더하는 Delta-LTM을 제안했고, 로봇과 물체의 상호작용 영역을 강조하는 Interaction-aware Latent Alignment를 함께 적용했다. 자체 수집한 크로스로봇 데이터셋에서 IWS 대비 FVD를 46.6%, LPIPS를 31.1% 줄여 장기 행동 조건 영상 예측 가능성을 보였다.
AVL-JEPA는 행동 조건부 물리 변화를 잃는 JEPA 세계 모델의 '인과 동역학 정보 붕괴'를 막기 위해 행동 앵커와 시각 불변 경로를 결합한 방법이다. TwoRoom, PushT, OGBench Cube, Reacher 시뮬레이션 평가에서 가우시안 노이즈와 채도 변화 아래 성공률을 크게 높였고, TwoRoom의 물리 결과 정렬 Spearman 상관을 0.35에서 0.53으로 올렸다. 이 논문은 프리프린트이며 동료 심사 여부는 확인되지 않았다.
이 논문은 프리프린트로, 잠재 세계 모델 계획에서 후보 행동을 평가하는 잠재 상태가 성공 기준 물리량을 충분히 정밀하게 담지 못하는 문제를 해결하고자 훈련 중에만 성공 기준 물리량을 회귀하는 보조 손실을 제안했다. LeWM에서 PushT는 3.5%포인트, cube는 3.4%포인트, stack은 5.05%포인트의 절대 성공률 상승을 보였고, 동결된 DINOv2 인코더를 쓰는 시스템에서도 stack 기준 최대 7.10%포인트 개선이 재현됐다. 훈련 뒤 선형 헤드를 버려 시험 시간 모델과 입력, 비용이 같아 실용적이다.
PhysicsLENS는 로봇 작업 영상 생성 모델이 텍스트로 지정된 숨은 물리 성질을 실제로 따르는지 평가하는 벤치마크와 데이터셋이다. 사람 평가 결과 그럴듯해 보이는 영상 47개 중 34개가 지시된 성질을 따르지 않았고, 성질을 명시해도 물리적 타당성은 통계적으로 유의하게 낮아지지 않았다. 이 연구는 프리프린트이며, 물리적 타당성과 성질 준수를 분리해 평가해야 한다는 점을 보였다.
PL-MPC는 정책 제약형 TD-M(PC)2 백본에서 비평가 지도, MPPI 종단 가치 평가, 플래너-정책 전이를 동시에 바꾼 방법이다. HumanoidBench에서는 balance-hard의 TAR(Total Average Return)가 98±18에서 387±255로, hurdle은 199±13에서 466±200으로 올랐고, KUKA IIWA14 실물 실험에서는 학습 물체 크기와 미학습 크기 모두에서 TD-M(PC)2보다 높은 성공률을 보였다. 아직 동료 심사를 거치지 않은 프리프린트다.
미국 리하이대 연구진이 로봇의 사회적 내비게이션을 위한 세계 모델 Social-WM을 arXiv 프리프린트로 공개했다. Social-WM은 로봇이 내린 명령 동작과 실제로 실행 가능한 동작의 차이를 안전 신호로 학습해, 시뮬레이션 벤치마크 Social-HM3D에서 성공률 63.77%를 달성하면서 인간 충돌률을 21.67%로 낮췄다. 이는 기존 NavThinker 대비 인간 충돌을 44.6% 상대 감소시킨 결과로, 별도의 보행자 추적이나 온라인 강화학습 없이 RGB 영상만으로 사회적 안전성을 높였다는 점에서 의미가 있다.
프리프린트로 공개된 RoboCoach는 행동 조건 세계 모델 CoachWorld에서 로봇 실행을 굴려 실패한 하위 작업을 찾고, 해당 기술 전문가에만 추가 데모를 요청해 LoRA 어댑터를 갱신하는 프레임워크다. 22개 작업-정책 쌍에서 상상 실행과 실제 실행 성공률 간 스피어만 상관이 0.840이었고, 실물 로봇에서 플랫폼당 150개 하위 작업 데모만 추가해 Franka는 13.3%에서 75.0%로, AgileX는 40.0%에서 83.8%로 성공률이 올랐다. 이는 세계 모델이 데이터를 더 만드는 것을 넘어 어떤 기술을 가르칠지 결정하는 능동 코치가 될 수 있음을 보여준다.
Latent world models learn action-conditioned dynamics in representation space and often score candidate actions by Euclidean distance to a goal representation. Joint training typically regularizes the representation to prevent collapse, but the resulting representation geometry also determines how terminal errors are weighted during planning.
A video world model trained on robot egocentric footage predicts outcomes of actions for evaluation and planning.
논문은 arXiv 로봇 피드에서 가져옵니다. 요약이 아직 작성되지 않은 논문은 초록의 첫 부분을 보여줍니다.