새로 나온 로봇, 피지컬 AI 논문과, 각 논문이 업계에 갖는 의미.
Reinforcement Learning (RL) substantially improves planning performance in autonomous-driving Vision-Language-Action (VLA) models. However, existing RL methods rely on scalar trajectory rewards that measure overall quality but fail to identify specific planning errors or provide actionable correction signals.
Vision-language-action (VLA) models and world action models (WAMs) have advanced robotic policy learning by building on pretrained vision-language models (VLMs) and video generative models (VGMs), respectively. Yet VLAs learn without explicit supervision from future world states, while WAMs that condition actions on predicted futures incur extra inference cost and let visual prediction errors propagate into actions.
Vision-language-action (VLA) policies issue sparse targets whose arrival at the robot controller is delayed and irregular, so a reasonable predicted action can still produce abrupt motion near people. Remedies are evaluated on different streams, delays and metrics.
Pre-trained robot policies, such as Vision-Language-Action (VLA) models, provide a strong foundation for generalist robotic manipulation, but adapting them to new tasks with only a few demonstrations remains challenging. Directly fine-tuning a pre-trained policy often achieves strong in-distribution performance, yet it can distort the representations learned during pre-training and weaken the model's generalization ability under out-of-distribution shifts.
Pretrained vision-language-action (VLA) models encode broad manipulation priors, yet adapting them to specific tasks requires balancing limited robot interaction, computational resources, and safety constraints. Noise space learning (NSL) adapts flow-matching-based VLAs by learning a context-conditioned distribution over noise while keeping the pretrained VLA fixed.
Actions specify what a robot should execute, but do not describe what those commands will achieve. Vision-language-action (VLA) policies nevertheless learn primarily by predicting action chunks from images, language, and state.
A user who brings a generalist manipulation policy into their home or office wants it to pick up their objects from their shelves, counters, and tables. Yet even a strong generalist like $π_{0.5}$ achieves 0% pickup success in our captured deployment scenes without adaptation, and collecting real demonstrations in every user's environment is prohibitively expensive.
Scaling generalist robotic policies is limited by the high cost of collecting embodied interaction data. Large-scale egocentric human videos offer a rich alternative, but they lack robot action labels, and existing action annotation methods are often noisy under real-world visual complexity and diverse manipulation dynamics.
프리프린트 논문에서 제안된 SimpleTouch는 사전학습된 VLA pi0.5에 동결된 촉각 인코더와 촉각 전문가를 더해, 과제별 시연 50개만으로 촉각 정책 사전학습이나 별도 정렬 없이 접촉 풍부 조작을 학습한다. UniVTAC 시뮬레이션 6개 과제 평균 성공률 77.5%로 기존 사전학습 촉각 정책 FTP-1의 66.7%를 10.8%포인트 앞서고, 실제 로봇 4개 과제 평균 71.3%로 FTP-1 대비 8.8%포인트 높았다. 이는 강한 사전학습 표현이 있으면 대규모 촉각 정책 사전학습 없이도 접촉 중심 조작이 가능함을 보여준다.
KAIST 연구진이 arXiv 프리프린트로 공개한 FastOPD는 대형 VLA와 WAM 교사를 소형 SmolVLA 학생에 증류하면서 샘플링 단계까지 줄이는 온폴리시 증류 프레임워크다. LIBERO에서 π0.5 교사 평균 성공률의 84%를 2단계 추론만으로 유지했고 추론 지연은 78.1% 줄었으며, RoboTwin 2.0에서는 LingBot-VLA 교사 기준 단일 단계 성공률을 기존 학생보다 15.9%포인트 높였다. 실물 로봇에서도 4단계 기준 성공률을 8%포인트 개선해 대형 파운데이션 정책의 실시간 배포 가능성을 보였다.
KAIST 연구팀이 VLA 모델이 물체를 손상시키지 않고 조작 과제를 끝내는지 평가하는 ManiPhysicsBench를 프리프린트로 공개했다. ManiPhysicsZoo의 91개 객체 자산과 물리 솔버 기반 평가로 LIBERO와 SimplerEnv에서 공개 VLA 체크포인트를 시험한 결과, 평균 과제 성공률 48.3% 대비 안전 성공률은 13.5%에 그쳤다. 그리퍼 지시를 객체별 연속 값으로 다시 학습시키자 안전 성공률은 올랐지만 과제 성공률은 낮아져 보존과 성공의 균형이 과제로 남았다.
MixVLA는 비전언어행동(VLA) 모델의 제로샷 일반화를 높이기 위해 불변 표현과 비불변 표현을 분리하고 비불변 정보를 적응적으로 섞는 모델 비특정 훈련 프레임워크다. LIBERO-Plus에서 OpenVLA-OFT 대비 전체 성공률을 69.6%에서 76.2%로, RoboTwin 2.0 clean-to-randomized에서 π0.5 대비 46.0%에서 62.4%로 끌어올렸다. 이 논문은 동료 심사를 거치지 않은 arXiv 프리프린트다.
SARI는 접근 단계는 시뮬레이션, 접촉 단계는 실제 시연으로 분리해 학습하는 프레임워크다. 가우시안 스플래팅 디지털 트윈으로 작업 공간 전반의 접근 궤적을 만들고, 실제 접촉 시연은 소수 위치에서만 수집해 하나의 VLA 정책을 후학습한다. 실제 Franka 로봇의 5개 접촉 중심 과제에서 실데이터 수집 시간을 34.3% 줄였고, 실접촉 시연이 없는 미학습 위치에서 27.5%의 성공률을 기록했다. 이 연구는 arXiv 프리프린트로 공개됐다.
MobiAgent는 장기 모바일 조작을 위해 고수준 추론과 저수준 제어를 원자 스킬로 분리한 이중 루프 에이전트 프레임워크다. 배포 시 Inner Loop가 VLM 기반 동적 계획과 시각 검증으로 오류를 복구하고, Outer Loop가 배포 궤적을 자동 선별해 사람 주석 없이 정책을 지속 개선한다. BEHAVIOR-1K에서 65.0%의 평균 성공률로 과제별 π0.5-TA의 42.5%를 22.5%p 앞섰고, 실제 Astribot S1에서는 32.5%에서 57.5%로 향상됐다. 이 논문은 아직 동료 심사를 거치지 않은 프리프린트다.
arXiv 프리프린트로 공개된 이 연구는 VLA 모델 내부 표현을 희소 오토인코더(SAE)로 분석해 적대적 패치와 상관된 특징을 찾고, 선형 프로브가 공격을 감지했을 때만 해당 특징을 억제하는 Detect and Suppress 방어법을 제안했다. LIBERO-10에서 π0.5와 SmolVLA를 UADA 공격으로 평가한 결과, 조건부 개입은 공격 성공률을 높였고 무조건 억제는 정상 성능을 크게 떨어뜨렸다. 이는 VLA 적대적 방어에서 내부 특징을 겨냥하되 개입 시점을 통제하는 것이 중요함을 보여준다.
DuoMind는 각 로봇에 VLM 오케스트레이터와 VLA 행동 모델을 결합하고 로봇 간 의미 통신을 추가한 분산형 계층적 다중 로봇 협업 프레임워크다. RoboPoly와 RoboTwin의 장기 작업에서 기준 모델보다 대부분 높은 성공률을 기록했으며, 통신 제거 실험을 통해 의미 메시지 공유가 부분 관찰 환경의 협업에 중요함을 확인했다. 이 논문은 arXiv 프리프린트로 공개됐으며 동료 심사 여부는 보고되지 않았다.
이 논문은 오픈소스 VLA 모델 OpenVLA-OFT를 FAIRINO FR3 로봇에 적응시키고 8단계 액션 청크를 예측해 실행하는 ChunkVLA-AM 배포 파이프라인을 제안했다. 실물 A-to-B 이송 시험 42회 중 39회(92.9%) 성공했고, 궤적 예측 오차는 평균 1.74 mm로 단일 단계 적응 모델의 9.50 mm보다 낮았다. 다만 이 연구는 동료 심사를 거치지 않은 프리프린트이며, 실패 3건은 모두 최종 배치 높이 제어 부족으로 물체가 쓰러진 경우였다.
존스홉킨스 APL 연구진이 공개한 프리프린트에서 Vision-Language-Action 모델에 언어 대신 8채널 근전도 신호나 시각 분할 주석을 연속 조건으로 넣는 EC-VLA와 VA-VLA를 제안했다. 실물 SO-101 팔 실험에서 EC-VLA는 물체가 적은 정상 장면에서는 언어 프롬프트 기준 모델과 성공률이 같았지만, 물체를 추가한 혼잡 장면에서는 성공률이 30%에서 50%로 올랐고 완전 실패율은 50%에서 4%로 줄었다. RoboCasa 시뮬레이션의 VA-VLA도 혼잡 장면에서 기준 모델 대비 성공률이 11%에서 20%로 올라 비언어 조건이 작업 명시에 유리할 수 있음을 보였다.
UniWAM은 물리 추론기, 세계 생성기, 행동 예측기를 하나의 MoT 구조로 통합한 로봇 모델이다. LIBERO 표준 평가 평균 99.2%, RoboTwin 2.0 Clean2Random 68.32%를 기록했고 실물 양팔 평가에서 π0.5 대비 과제 성공률을 13.1%포인트 높였다. 이 논문은 프리프린트이며, 인간과 로봇 데이터를 섞은 사전학습에서 로그 선형 스케일링 법칙도 확인했다.
에든버러대와 밀라노 공대 연구팀이 프리프린트로 공개한 논문에서 VLA 모델의 강건성을 과제 성공률(TSR)만으로 평가하면 섭동이 성공 궤적에 미치는 영향을 놓친다는 점을 보였다. LIBERO와 LIBERO-Plus에서 π0.5, VLANeXt, OpenVLA-OFT를 평가한 결과, 같은 성공률을 보이는 조건에서도 카메라, 로봇, 센서 섭동에 따라 성공 궤적의 지속 시간, 저크, 그리퍼 움직임이 크게 달라졌다. 연구팀은 성공 여부뿐 아니라 로봇이 과제를 어떻게 수행하는지 측정하는 행동 지표를 강건성 평가에 보완해야 한다고 제안했다.
논문은 arXiv 로봇 피드에서 가져옵니다. 요약이 아직 작성되지 않은 논문은 초록의 첫 부분을 보여줍니다.