MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

74 Studien
ThemaAlleManipulation 76VLA 66Navigation 35Robotics 32Learning 27Perception 22Humanoid 21Simulation 15Locomotion 14Safety 11World Action Models 4World-action model 3Aerial 2Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continual reinforcement learning on top of robot foundation models 1Continuum sensing 1Cross-embodiment transfer of humanoid whole-body controllers 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Evaluating robot world models against real executions 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Humanoid whole-body control 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Reinforcement learning for industrial assembly 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
NiveauAlleEinstiegFortgeschrittenExperten
Noch nicht auf Deutsch verfügbar: Anzeige im englischen Original.
Gefiltert nach Technologie Vision-Language-Action-Modelle, zurücksetzen
arXiv
VLAExperten

Wenn Anweisungen Trajektorien abrufen: Instruction-Action-Binding und Equivariant Counterfactual Training für VLA-Modelle

Hung-Jen Chen, Yu-Hsun Hou, Yan-Hong Chen, Yan-Fu Chen, Binghua Cai, Min Sun, Chun-Yi Lee

Der Preprint identifiziert Instruction-Action-Binding als Fehlermodus, bei dem VLA-Policies trotz aktiver Sprach- und Bildverarbeitung vertraute, aber falsche Trajektorien auswählen. Equivariant Counterfactual Training (ECT) ergänzt Trainingsdaten um szenenabhängige Aktionsalternativen unter derselben Anweisung und trainiert diese Paare gemeinsam. Auf LIBERO-PRO steigt der mittlere Swap-Erfolg von π0.5 von 36 auf 59 Prozent, auf CALVIN verbessert der ECT-Loss die Fünf-Aufgaben-Abschlussrate von 58 auf 76 Prozent, und auf einem echten UR5e steigt der Erfolg bei ungesehenen Positionen von 3/40 auf 35/40.

VLA
Vollständige Studie lesen (PDF)
arXiv
GroundingExperten

GroundingPI: Präzises visuelles Grounding als Perzeptionsfundament für physische Intelligenz

Qize Yu, Lianrui Fan, Boyu Chen, Jiaqi Liang, Xini Ding, Yue Chen, Zetian Song, Yuran Wang, Yi Zou, Kaixuan Wang, Tianxing Chen, Wenxuan Song, Bohan Zhou, Mingleyang Li, Siqiao Huang, Yuqi Ye, Caigao Jiang, Wei Wei, Ruihai Wu, Hang Zhang

In einem Preprint wird GroundingPI vorgestellt, ein 4-Milliarden-Parameter-Grounding-Foundation-Model, das Punkte und Boxen als quantisierte Koordinaten in einem gemeinsamen Vokabular erzeugt. Über 34 Grounding-Benchmarks mit 44 Baseline-Vergleichen erreicht das Modell einen Durchschnitt von 73,68 % und liegt damit vor dem größeren GPT-6 Astra mit 71,54 %. Als Perzeptionsbackbone verbessert es Robotermanipulation und autonomes Fahren, etwa mit bis zu 24,8 % relativem Vorteil im RoboTwin-2.0-OOD-Setting.

VLARL
Physical Intelligence
Vollständige Studie lesen (PDF)
arXiv
Aerial ManipulationExperten

Synthetisches VLA-Training und Fortschrittsausrichtung für szenenweite Luftmanipulation

Weixiang Guo, Rui Jin, Haotian Jin, Xinhang Xu, Ruiyang Liu, Haoran Zhao, Yi Wang, Weiqi Gai, Kun Cao, Lihua Xie

In einem Preprint wird ein Framework vorgestellt, das lokale Vision-Language-Action-Verhalten für einen artikulierten Luftmanipulator synthetisch trainiert und über einen relationalen Szenengraph zu szenenweiten Missionen komponiert. Die lokale VLA-Politik erreicht unter Orakelbedingungen 65,0 % Erfolg, das Gesamtsystem schafft 42,0 % der simulierten Multi-Site-Missionen, und die gemessene Fortschrittsausrichtung MPAR reduziert den Phasenfehler bei 500 ms Latenz um 0,212 s. Erste physische Versuche bestätigen die Ausführbarkeit ohne Demonstrationen auf der Zielplattform.

VLA
Vollständige Studie lesen (PDF)
arXiv
Preference LearningExperten

PrefPI: Präferenzgesteuertes Policy-Iterieren für Out-of-Distribution-Verhalten

Seungeun Rho, Wontaek Kim, Danfei Xu, Sehoon Ha

Die Autoren stellen mit PrefPI ein iteratives Framework vor, das vortrainierte generative Roboter-Policies nur durch relative Präferenzen über selbst generierte Trajektorien lenkt. In Simulation und auf realer Hardware erhöht PrefPI die Objekttransporthöhe von 10,7 cm auf 19,8 cm mit nur 150 präferenzmarkierten Trajektorien und steigert Wurfweiten um das 4,5-Fache, während die Erfolgsrate über 90 % bleibt. Der Preprint zeigt, dass Präferenzfeedback ein Verhalten über die initiale effektive Verteilung hinaus verschieben kann, ohne neue Demonstrationen oder Belohnungsfunktionen.

VLA
Vollständige Studie lesen (PDF)
arXiv
Real-time VLAExperten

Echtzeit-VLA-Inferenz: Nicht-uniformes Zwei-Stufen-Denoising spart 64 Prozent Rechenzeit

Di Wu, Rongtian Shen, Ping Liu, Yan Shen, Zhenhan Yin, Shun Zuo, Xuhua Chen, He Zheng, Lingfeng Zhang, Jianglin Zhang, Tao Zhang

Das Paper stellt ein zweistufiges, nicht-uniformes Denoising für Flow-Matching-basierte Vision-Language-Action-Modelle vor; es reduziert die Modellinferenzzeit von 61,557 ms auf 21,956 ms, eine 2,804-fache Beschleunigung, bei vergleichbarer Aktionsfehlergröße. Zusätzlich wird ein verteiltes Echtzeit-Framework mit entkoppelten Raten für Inferenz, Aktionspublikation und Robotersteuerung entwickelt. In physischen Langzeit-Faltversuchen mit π0.5 erzielt Legato 96,7 Prozent Erfolg; die kombinierte Zwei-Stufen-Methode senkt die Erfolgsrate von Legato auf 86,7 Prozent, liefert aber deutliche Effizienzgewinne. Der Preprint motiviert die gemeinsame Optimierung von Modellinferenz und System-Timing.

VLA
Vollständige Studie lesen (PDF)
arXiv
Embodied policyExperten

EWAM: Tiefenweise Spezialisierung in einem vereinheitlichten Embodied Model

Hao Wang, Jiajun Wen, Jingzhi Liu, Shuoshuo Xue, Zhiliang Chen, Min Lin, Yicheng Chang, Xiaoyu Guo, Yukang Zhuo, Zheng Chong, Yunshuang Nie, Jian Zhang, Weijia Liufu, Qingman Wu, Heming Xu, Bingchang Song, Dantong Wu, Zhiyuan Wang, Hang Xu, Jianhua Han

EWAM ist ein einheitliches Embodied Model, dessen Aktionsstrom in jeder Schicht auf semantische, visuelle und Aktions-Repräsentationen zugreifen kann. Laut dem Preprint bildet sich ohne explizite Schicht-Supervision eine tiefenweise Arbeitsteilung heraus: flache Schichten nutzen Vision-Language-Merkmale, mittlere Schichten vorhergesagte Zukunftsframes, tiefe Schichten Aktions-Selbstaufmerksamkeit. In Simulation und auf realen Robotern übertrifft EWAM bestehende VLA-, WAM- und Hybrid-Baselines; menschliche Egozentrik-Daten verbessern Transfer und Robustheit.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

Bingxuan Li, Siqi Song, Yizhuo Wu, Jiarui Yao, Tong Zhang, Huan Zhang

Vision-language-action (VLA) models have advanced robotic manipulation, but their zero-shot generalization in new tasks and environments remains limited, and their reliance on specialized training keeps them from benefiting directly from rapidly advancing general-purpose vision-language models (VLMs). In parallel, recent agentic robotic systems leverage VLMs for high-level reasoning or coding agents for robot control, but often depend on extensive external models and tools, introducing additional complexity and cost.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

WayFinder: Hierarchical Visual-Language-Action for Zero-Shot Waypoint Generation and Low-Level Kinematic Control

Timothy K Johnsen, Marco Levorato

Visual Language Action (VLA) models offer unprecedented generalization for autonomous robots; however, their real-world deployment is frequently bottlenecked by unreliable execution and the prohibitive computational cost of fine-tuning for specific robot embodiments and tasks. To bridge this gap, we propose WayFinder, an end-to-end, closed-loop hierarchical VLA framework that circumvents the need for fine-tuning by decoupling high-level task reasoning from low-level kinematic control.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLA robustnessExperten

Self-Compensating VLA: Online-Anpassung gegen Ausführungsfehler von Robotern

Sohyun Lee, Yoonjae Baek, Jaesang Won, Jinnyeong Kim, Kang Hyunwoo, Seung-Hwan Baek, Ivan Laptev, Suha Kwak

Das Paper stellt Self-Compensating VLA vor, eine Methode zur Deployment-Zeit-Anpassung von Vision-Language-Action-Policies, die sich ohne Belohnungen oder Labels an Ausführungsfehler des Roboters anpasst. Sie nutzt die Differenz zwischen kommandierter und tatsächlich ausgeführter Bewegung als Selbstüberwachungssignal. In Simulation (RoboStress) und auf zwei realen Roboterarmen erzielt die Methode deutlich höhere Erfolgsraten als Baselines und Trainingszeit-Robustheitsverfahren; es handelt sich um ein Preprint.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

Urgent Actions Go First: Urgency-Aware Denoising for Real-Time VLA Control

Zibo Wang, Haochen Han, Pengzhen Ren, Mingtong Dai, Fangming Liu

Diffusion and flow-matching Vision-Language-Action (VLA) policies generate action chunks through iterative denoising, incurring substantial inference latency that severely limits real-time robotic control. Existing acceleration methods treat an action chunk as a monolithic computational unit, ignoring a crucial physical reality of receding-horizon control: actions are generated jointly but consumed sequentially, resulting in inherently heterogeneous execution urgencies.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

Faster and Better? Benchmark Bugs and Design Limitations Distort the Evaluation of Vision-Language-Action Acceleration

Qiwei Chen, Kaijun Zhou, Nuohui Shi, Zhiyang Li, Yuxuan Feng, Jinyu Gu

Simulated manipulation benchmarks are the standard tool for evaluating vision-language-action (VLA) policies and the acceleration methods that reduce their inference latency for on-robot deployment. On these benchmarks, we observe that some training-free acceleration methods, which approximate the baseline policy's computation, achieve higher measured success rates than the baseline itself.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation

Shuhong Liu, Heng Zhou, Lingfeng Qian, Yuhao Fang, Xianbao Hou, Qianyu Zhou, Lin Gu, Wei Sui, Jianfei Yang, Ziteng Cui

Vision-language-action (VLA) models typically operate on RGB images produced by a fixed camera image signal processor (ISP), leaving the imaging pipeline outside the learning and evaluation loop. We systematically examine the consequences of this overlooked design choice across five fundamental ISP dimensions: gain, sensor noise, chromatic response, tonal response, and bit depth.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAExperten

Rho: A Foundation for Efficiently Adaptable VLA Models

Rho Team, Simran Bagaria, Daphne Chen, Dean Fortier, Jianlong Fu, Michael Harrison, Tess Hellebrekers, Neel Joshi, Andrey Kolobov, Dalton Moore, Galen Mullins, Michael Murray, Eduardo Salinas, Reuben Tan

General-purpose physical AI models must combine broad visual and linguistic capabilities with precise control across robot embodiments and efficient adaptation to downstream tasks. We introduce Rho, a family of open-weights VLA models for bimanual manipulation designed for data-light task adaptation on 3 embodiments representative of dual-arm robots across research labs and the industry -- YAM Box, UR AI Trainer, and FR3 Duo.

VLA
Vollständige Studie lesen (PDF)

Themenseiten

Manipulation 6VLA 4World Action Models 5World-action model 3Aerial manipulation 3Dexterous manipulation 3Sim-to-Real Manipulation 3Social Navigation 3

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.