MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

408 Studien
ThemaAlleManipulation 65VLA 43Navigation 24Learning 23Robotics 22Perception 20Humanoid 15Safety 9Simulation 9Locomotion 8World Action Models 4Aerial 2Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 2World-action model 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continuum sensing 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
NiveauAlleEinstiegFortgeschrittenExperten
Noch nicht auf Deutsch verfügbar: Anzeige im englischen Original.
arXiv
Multi-UAV State EstimationExperten

Neigungsbasierte Zustandsschätzung für agile visuelle Multi-UAV-Flüge

Michal Pliska, Matouš Vrba, Ondřej Víta, Martin Jiroušek, Viktor Walter, Martin Saska

Die Autoren stellen in einem Preprint einen neuen Schätzansatz vor, der Neigungsinformationen eines visuellen Detektors in die Zustandsschätzung benachbarter UAVs integriert. Über drei Datensätze sinken die mittleren Schätzfehler für Geschwindigkeit und Beschleunigung um 40 % beziehungsweise 57 % gegenüber positionsbasierten Verfahren. In einem simulierten Leader-Follower-Experiment mit NMPC-Regelung ermöglicht der Ansatz die stabile Verfolgung lateraler Manöver über 2 g, während positionsbasierte Schätzung versagt.

Vollständige Studie lesen (PDF)
arXiv
VLAFortgeschritten

ChunkTrust: Ausführungshorizonte von Roboter-Policies anhand von Signalen des Action-Experts anpassen

Fanding Huang, Jingyan Jiang, Shifeng Bao, Mingkang Pu, Shiwei Li, Jing Xu, Shijia Xu, Guanbo Huang, Chenghao Gu, Yuzhi Huang, Chenxin Li, Faisal Nadeem Khan, Huan Yang, Yan Wang, Cheng Chi, Zhi WangTsinghua University, Beijing Academy of Artificial Intelligence (BAAI), Renmin University of China, Shenzhen Technology University, Hefei University of Technology, Jiangnan University, Chongqing University, The Chinese University of Hong Kong

Roboter-KI-Modelle planen immer einen kurzen Block künftiger Bewegungen, und wie viele davon der Roboter ausführt, bevor er wieder hinschaut, legen Entwickler bislang meist starr fest. Dieser Preprint der Tsinghua-Universität, der Beijing Academy of Artificial Intelligence (BAAI) und weiterer Partner ergänzt ein Zusatzmodul, das diese Zahl im laufenden Betrieb wählt und die Erfolgsquoten vorhandener Modelle von Physical Intelligence und Nvidia in der Simulation und auf einem realen Zweiarmroboter ohne Nachtraining erhöht.

VLARobotik-BasismodelleImitationslernen
Physical IntelligenceNVIDIA
Vollständige Studie lesen (PDF)
arXiv
Autonomous ExplorationExperten

GPU-beschleunigter pfadabhängiger Marginal Information Gain für autonome Exploration

João Félix Mendes, Rodrigo Ventura, Meysam Basiri

Das Preprint stellt eine GPU-beschleunigte Methode vor, die den pfadabhängigen marginalen Informationsgewinn für samplingbasierte Explorationsplaner berechnet. Statt sichtbare Voxel je Knoten zu speichern und zu vereinigen, nutzt der Ansatz Tiefenpuffer der Vorfahren, um Überlappungen auszuschließen; die Baumauswertung erfolgt tiefengeordnet und parallelisiert Knoten und Strahlen innerhalb einer Ebene. In Simulationen erreichte der marginale Gewinn in fünf von sechs Planer-Umgebungs-Kombinationen schneller 95 Prozent Abdeckung, und im realen UAV-Versuch sank die Zeit bis 95 Prozent Abdeckung um 30 Prozent.

Vollständige Studie lesen (PDF)
arXiv
Model-based RLExperten

PL-MPC erweitert TD-M(PC)2 um Multi-Step-TD, adaptive Terminalwerte und returngewichtete Aktordestillation

Kowndinya Boyalakuntla, Yuhan Liu, Abdeslam Boularias

Das Preprint stellt PL-MPC vor, eine Erweiterung des policy-constrained TD-M(PC)2-Rückgrats, die Critic-Supervision, MPPI-Terminalwertbewertung und Planer-zu-Policy-Transfer verändert. Auf HumanoidBench steigt der Total Average Return bei balance-hard von 98±18 auf 387±255 und bei hurdle von 199±13 auf 466±200; auf vier DMControl-Aufgaben bleibt die Methode konkurrenzfähig. In einem Sim-to-Real-Transfer mit einem KUKA IIWA14 erreicht PL-MPC höhere Erfolgsraten als TD-M(PC)2 auf der Trainingsgröße und zwei ungesehenen Objektgrößen.

Weltmodelle
Vollständige Studie lesen (PDF)
arXiv
Trajectory CorrectionFortgeschritten

MaDE: Ein Post-hoc-Operator zur Durchsetzung dynamischer Machbarkeit bei neuronalen Trajektorien

Kevin Yu, Tao Guo, Constantinos Antoniou, Panagiotis Angeloudis

Die Autoren stellen mit dem Markovian Dynamics Enforcer (MaDE) einen zeitinvarianten, nachgelagerten Korrektur-Operator für neuronale Trajektorienvorhersagen vor. Der Operator lernt aus zulässigen Zustandsübergängen ohne Ground-Truth-Steuerungen eine Dynamik-Mannigfaltigkeit und korrigiert dann vorgeschlagene Übergänge so, dass sie dynamisch konsistent und möglichst constraint-konform sind. In Simulationen erreicht MaDE nahezu verschwindende Dynamikresiduen und auf realen Fahrzeugdaten reduziert es das Residuum gegenüber einem kinematischen Fahrradmodell von etwa 0,17 auf 0,007, allerdings auf Kosten einer um den Faktor 1,57 bis 1,83 erhöhten Positionsabweichung. Das Paper ist ein Preprint und wurde noch nicht begutachtet.

Vollständige Studie lesen (PDF)
arXiv
Terrain traversabilityExperten

Erfahrungsgetriebenes Continual Learning für Terrain-Traversabilität bei Quadruped-Robotern mit Validierungs-Gate

Luca Bricarello, João Carlos Virgolino Soares, Alberto Sanchez-Delgado, Fulvio Mastrogiovanni, Claudio Semini

Das Preprint stellt eine Pipeline vor, die für einen Unitree Go2 aus Bildern vor dem Kontakt mit einem eingefrorenen DINOv3-Backbone fünf propriozeptive Interaktionsindikatoren vorhersagt und deren Unsicherheit über eine evidentiale Regression schätzt. In einem sequenziellen Hardware-Versuch über drei unbekannte Untergründe senkt das Validierungs-Gate die finale Anchor-NLL-Verschlechterung um 23,1 Prozent gegenüber Replay ohne Gate bei ähnlicher Anpassung an neue Terrains. Damit wird ein Weg gezeigt, kontinuierliches Lernen aus Robotererfahrung mit kontrollierter Beibehaltung früherer Terrain-Modelle zu verbinden.

Vollständige Studie lesen (PDF)
arXiv
Real-time VLAExperten

Echtzeit-VLA-Inferenz: Nicht-uniformes Zwei-Stufen-Denoising spart 64 Prozent Rechenzeit

Di Wu, Rongtian Shen, Ping Liu, Yan Shen, Zhenhan Yin, Shun Zuo, Xuhua Chen, He Zheng, Lingfeng Zhang, Jianglin Zhang, Tao Zhang

Das Paper stellt ein zweistufiges, nicht-uniformes Denoising für Flow-Matching-basierte Vision-Language-Action-Modelle vor; es reduziert die Modellinferenzzeit von 61,557 ms auf 21,956 ms, eine 2,804-fache Beschleunigung, bei vergleichbarer Aktionsfehlergröße. Zusätzlich wird ein verteiltes Echtzeit-Framework mit entkoppelten Raten für Inferenz, Aktionspublikation und Robotersteuerung entwickelt. In physischen Langzeit-Faltversuchen mit π0.5 erzielt Legato 96,7 Prozent Erfolg; die kombinierte Zwei-Stufen-Methode senkt die Erfolgsrate von Legato auf 86,7 Prozent, liefert aber deutliche Effizienzgewinne. Der Preprint motiviert die gemeinsame Optimierung von Modellinferenz und System-Timing.

VLA
Vollständige Studie lesen (PDF)
arXiv
Text-to-3D PolicyFortgeschritten

T3DP: Feingranulare Sprach-Verhaltens-Ausrichtung für Text-to-3D-Policies

Xinhao Yang, Wenhao Wu, Ning Lv, Yanshen Ding, Zhenhong Sun, Daoyi Dong, Chunlin Chen, Zhi Wang

Der Preprint stellt T3DP vor, ein Framework, das feingranulare Sprach-Verhaltens-Ausrichtung nutzt, um textgesteuerte 3D-Diffusionsrichtlinien für ungesehene Verhaltensspezifikationen zu verbessern. In Simulationen (Meta-World, ManiSkill, RoboTwin) erreicht T3DP durchschnittlich 11,0 bis 14,2 Prozentpunkte mehr Erfolg als globale Ausrichtung; auf einem realen PiPer-X-Roboter steigt der Durchschnitt von 47,5 auf 65,0 Prozent. Die lokale Zuordnung von Instruktionstoken zu Verhaltenssegmenten erhält spezifikationsrelevante Unterschiede, die globale Verfahren oft verwischen.

Vollständige Studie lesen (PDF)
arXiv
Safe RL-MPCExperten

RL-geführte PAC-NMPC kombiniert stochastische MPC und Actor-Critic-Lernen für sichere Navigation

Adam Polevoy, Dillon Capalongo, Katherine Tang, Mark Gonzales, Marin Kobilarov, Joseph Moore

Das Preprint beschreibt eine Methode, die stochastische modellprädiktive Regelung (PAC-NMPC) mit durch Reinforcement Learning trainierten Actor-Critic- und Sensorprädiktionsmodellen kombiniert, um in unbekannten Umgebungen mit lokaler Wahrnehmung probabilistisch sicher zu navigieren. In Simulation und Hardwareversuchen auf einem Fixed-Wing-UAV erreicht der Ansatz höhere Erfolgsraten als die Einzelkomponenten und Baselines, in der Simulation 90 Prozent, in Hardware 80 Prozent. Er verbessert damit die Sicherheit von RL-Policies und die Langzeitleistung von NMPC durch statistische Garantien.

RL
Vollständige Studie lesen (PDF)
arXiv
Embodied policyExperten

EWAM: Tiefenweise Spezialisierung in einem vereinheitlichten Embodied Model

Hao Wang, Jiajun Wen, Jingzhi Liu, Shuoshuo Xue, Zhiliang Chen, Min Lin, Yicheng Chang, Xiaoyu Guo, Yukang Zhuo, Zheng Chong, Yunshuang Nie, Jian Zhang, Weijia Liufu, Qingman Wu, Heming Xu, Bingchang Song, Dantong Wu, Zhiyuan Wang, Hang Xu, Jianhua Han

EWAM ist ein einheitliches Embodied Model, dessen Aktionsstrom in jeder Schicht auf semantische, visuelle und Aktions-Repräsentationen zugreifen kann. Laut dem Preprint bildet sich ohne explizite Schicht-Supervision eine tiefenweise Arbeitsteilung heraus: flache Schichten nutzen Vision-Language-Merkmale, mittlere Schichten vorhergesagte Zukunftsframes, tiefe Schichten Aktions-Selbstaufmerksamkeit. In Simulation und auf realen Robotern übertrifft EWAM bestehende VLA-, WAM- und Hybrid-Baselines; menschliche Egozentrik-Daten verbessern Transfer und Robustheit.

VLA
Vollständige Studie lesen (PDF)
arXiv
Social NavigationFortgeschritten

Social-WM: Sicherheitsbewusste latente Weltmodelle für soziale Roboternavigation

Zhihao Zheng, Mooi Choo Chuah

Social-WM ist ein latentes Weltmodell-Framework, das bei der Navigation zwischen nominalen Roboteraktionen und tatsächlich realisierbaren Aktionen unterscheidet und die Differenz als Sicherheitssignal nutzt. In Simulationen auf Social-HM3D erreicht das Preprint eine Erfolgsquote von 63,77 % und reduziert Kollisionen mit Menschen auf 21,67 %, ohne explizites Tracking oder privilegierte Zustände. Die Methode überträgt sich ohne Nachtraining auf Social-MP3D und zeigt, dass Aktionsrealisierbarkeit ein belastbares Sicherheitskriterium sein kann.

Weltmodelle
Vollständige Studie lesen (PDF)
arXiv
ManipulationFortgeschritten

RoboCoach: Weltmodelle als aktive Coaches für kompositionale Roboterfähigkeiten

Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie, Guocai Yao, Mengdi Xu, Sen Cui, Changshui Zhang

RoboCoach ist ein Preprint und beschreibt ein Framework, das mit dem aktionskonditionierten Weltmodell CoachWorld imaginierte Fehlschläge in langfristigen Manipulationsaufgaben lokalisiert und daraus gezielte Demonstrationsanfragen sowie LoRA-Updates für die zuständigen Skill-Experten ableitet. In Simulation und auf zwei echten Roboterplattformen steigt die Erfolgsrate mit 150 zusätzlichen Teilaufgaben-Demonstrationen von 13,3 % auf 75,0 % beim Franka und von 40,0 % auf 83,8 % beim AgileX, während eine gleichmäßige Datenerfassung mit gemeinsamem Adapter nur 30,0 % bzw. 47,5 % erreicht. Die Arbeit zeigt, dass Weltmodelle nicht nur simulieren, sondern als aktive Coaches entscheiden können, welche wiederverwendbare Fähigkeit als Nächstes gelernt werden soll.

Weltmodelle
Vollständige Studie lesen (PDF)
arXiv
NavigationExperten

Comparing Utility of Inertial, Occupancy, Semantic, and Intent Information in Human Motion Prediction During Daily Tasks

Max Burns, Maisha Khanum, Monroe Kennedy, Steven H. Collins

Accurate human motion prediction is crucial for robotic systems operating around people, particularly in complex indoor spaces. In this study, we assess the relative importance of different sources of information in indoor motion prediction with a human motion diffusion model.

Vollständige Studie lesen (PDF)
arXiv
PerceptionExperten

ProAct-VLM: Pre-Failure Vision-Language Task Replanning with Continuous Perception Feedback

Ahmed Nader Ahmed, Omar Moured, Mughni Irfan Mohammed Abdul, Muhayy Ud Din, Irfan Hussain

Long-horizon robotic tasks are vulnerable to unexpected environmental changes that can render planned actions ineffective or unsafe. To address this, robots must detect such changes as they occur, interpret their impact, and adjust their actions accordingly.

Vollständige Studie lesen (PDF)
arXiv
ManipulationExperten

MVG-WAM: Multiple View Geometry-Aware World-Action Modeling for Robotic Manipulation

Wenbo Chen, Tianfu Li, Haoxuan Xu, Zhihao Cao, Zhenghan Chen, Zhengming Zhu, Zizhou Luo, Guosheng Yang, Yuan Liu, Lujia Wang, Wen Chen, Haoang Li

World-Action Models (WAMs) couple visual dynamics with action prediction, bringing the rich priors of pretrained video models to robotic manipulation. However, their multi-view interfaces typically tile images or concatenate tokens, leaving the geometric relationships among synchronized cameras implicit.

Vollständige Studie lesen (PDF)
arXiv
VLAExperten

MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

Bingxuan Li, Siqi Song, Yizhuo Wu, Jiarui Yao, Tong Zhang, Huan Zhang

Vision-language-action (VLA) models have advanced robotic manipulation, but their zero-shot generalization in new tasks and environments remains limited, and their reliance on specialized training keeps them from benefiting directly from rapidly advancing general-purpose vision-language models (VLMs). In parallel, recent agentic robotic systems leverage VLMs for high-level reasoning or coding agents for robot control, but often depend on extensive external models and tools, introducing additional complexity and cost.

VLA
Vollständige Studie lesen (PDF)
arXiv
ManipulationExperten

BlenDAgger: Blended Shared Control for Interactive Imitation Learning

Cailyn Smith, Geoffrey Sun, Henny Admoni, Zackory Erickson

Robot policies are frequently trained from human corrections, yet teleoperating a robot to provide corrections is burdensome, and human demonstrators are not always optimal. We propose Blended DAgger (BlenDAgger), an approach for collecting data to train imitation learning policies by using shared control to blend the policy's and demonstrator's actions during interventions.

Imitationslernen
Vollständige Studie lesen (PDF)
arXiv
HumanoidExperten

EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation

Yiming Jiang, Chen Jin, Chongyang Xu, Yilun Chen, Aimin Hao, Yisheng He

Egocentric human demonstrations offer an accessible source of task experience, but differences in body scale and controller response, together with missing robot states, limit their value as humanoid training supervision. We present EgoAlign, a data-construction framework that converts these demonstrations into action and state supervision compatible with a general-purpose, continuous whole-body controller, without collecting physical-robot demonstrations.

Vollständige Studie lesen (PDF)
arXiv
LearningExperten

Rethinking Representations for World-Action Modeling

Haoyi Jiang, Liu Liu, Xinjiang Wang, Zhihao Sun, Zequn Chen, Sen Wang, Xinjie Wang, Xia Chen, Jingfeng Yao, Weiheng Zhao, Shanglin Yuan, Zhizhong Su, Wei Sui, Wenyu Liu, Xinggang Wang

World-action models jointly learn robot policies and predict future observations, making the representation space an interface between control and prediction. We study the design of this space through controlled comparisons, finding that neither reconstruction fidelity nor pre-trained perceptual features alone ensure effective policy learning.

Vollständige Studie lesen (PDF)
arXiv
NavigationExperten

Geometry-Preserving Human-to-Robot Upper-Body Motion Retargeting from Monocular Video

Xiaoyu Yang, Sen Han, Da Li, Nan Wu

Monocular RGB video provides an accessible source of human demonstrations for upper-body robot motion, yet video-driven human-to-robot transfer remains challenging because body and hand motion are recovered at different spatial scales, human and robot kinematics differ substantially, and fine distal motion is difficult to preserve across embodiments. We present a geometry-preserving motion-retargeting framework that integrates unified body--hand reconstruction with morphology-independent geometric transfer.

Vollständige Studie lesen (PDF)

Themenseiten

Manipulation 6VLA 4World Action Models 5Aerial manipulation 3Dexterous manipulation 3Sim-to-Real Manipulation 3Social Navigation 3

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.