MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

72 Studien
ThemaAlleManipulation 65VLA 43Navigation 24Learning 23Robotics 22Perception 20Humanoid 15Safety 9Simulation 9Locomotion 8World Action Models 4Aerial 2Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 2World-action model 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continuum sensing 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
NiveauAlleEinstiegFortgeschrittenExperten
Noch nicht auf Deutsch verfügbar: Anzeige im englischen Original.
arXiv
Adaptive interventionFortgeschritten

UniIntervene++: Adaptiver Interventionsagent verbessert reales Online-RL auf 89,67 Prozent Erfolg

Yudong Lin, Haoyuan Deng, Zhuoxuan Yuan, Zaijia Yang, Yuanjiang Xue, Ziwei Wang

Das Paper beschreibt UniIntervene++, einen als Preprint veröffentlichten adaptiven Interventionsagenten, der während des Online-Reinforcement-Learning zwischen autonomer Roboterpolitik, Trajektorienkorrektur und einer task-strukturierten CodePolicy wählt. In fünf realen Manipulationsaufgaben erreicht das Verfahren eine mittlere Erfolgsrate von 89,67 Prozent und reduziert die menschliche Interventionsquote auf 0,77 Prozent. Damit übertrifft es die beste Baseline um 6 Prozentpunkte bei mindestens 94,6 Prozent weniger menschlichen Eingriffen.

RL
Vollständige Studie lesen (PDF)
arXiv
ManipulationFortgeschritten

Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision

Bosung Kim, Alexander Trevithick, Ruiyi Wang, Prithviraj Ammanabrolu

Preprint. The authors present two ways to connect slow frontier reasoning models to fast local robot policies: autonomous generation of corrective demonstrations for training, and dense language supervision at multiple granularities. They report that autonomous demonstration generation becomes more reliable and cheaper as successful examples accumulate, and that a deployment harness lets the frontier model guide the local policy. This matters because it could enable powerful but high-latency models to drive real-time robot manipulation.

Vollständige Studie lesen (PDF)
arXiv
Contact-rich ManipulationFortgeschritten

RATE: Risikobewusste taktile Repräsentation für kontaktintensive Manipulation

Yuyao Jiang, Haichao Liu, Jiarui Zheng, Zihan Ding, Weihao Yuan, Ziwei Wang

RATE ist ein Preprint und stellt eine risikobewusste taktile Repräsentationslernmethode für kontaktintensive Robotermanipulation vor. In acht simulierten UniVTAC-Aufgaben erreicht RATE eine durchschnittliche Erfolgsrate von 71,8 Prozent und übertrifft damit sowohl gleich große Baselines als auch große visuomotorische Modelle mit 3,3 bis 5 Milliarden Parametern; auf drei realen Aufgaben erzielt RATE die höchste Erfolgsrate und den höchsten kontakt-sicheren Erfolgsanteil. Der Ansatz zeigt, dass gezielte Risikomodellierung ohne große Modellgrößen deutliche Verbesserungen bei Montage- und Steckaufgaben ermöglicht.

Taktile Sensorik
Vollständige Studie lesen (PDF)
arXiv
ManipulationFortgeschritten

AdaTempo lernt gemeinsames relatives Tempo aus Demonstrationen für schnellere Roboter-Manipulation

Jiale Cao, Yike Niu, Zhengrong Xue, Huazhe Xu

AdaTempo ist ein selbstüberwachtes Verfahren, das aus Teleoperationsdemonstrationen phasenabhängige Geschwindigkeitsprofile ableitet und die Trainingsdaten offline neu abtastet, um Standardpolitiken wie ACT oder Diffusion Policy zu beschleunigen. In Simulation und Praxis erreicht es bis zu 3,57-fache Beschleunigung bei einer höheren Erfolgsrate als die Baselines, darunter DemoSpeedup und SAIL. Das Preprint zeigt, dass gemeinsames relatives Timing in Demonstrationen als direktes Signal für schnellere Manipulationspolitiken dienen kann, ohne Laufzeitmodule oder Online-Retiming.

Imitationslernen
Vollständige Studie lesen (PDF)
arXiv
VLA evaluationFortgeschritten

ManiPhysicsBench: Physikbasierte Bewertung der Objektschonung bei VLA-Manipulation

Sangwu Park, Yeonjun In, Wonjoong Kim, Sungwon Kim, Sein Kim, Chanyoung Park

Das Preprint stellt ManiPhysicsBench vor, ein Benchmark, das mit der Objektbibliothek ManiPhysicsZoo und einer löserbasierten Schadensbewertung prüft, ob VLA-Modelle Objekte beim Manipulieren erhalten. Öffentliche VLA-Checkpoints erreichen im Mittel nur 13,5 % Safe Success bei 48,3 % Task Success auf SimplerEnv; auf LIBERO liegen die Werte bei 1,9 % und 12,3 %. Damit zeigen gängige Modelle Aufgaben erfolgreich, greifen aber empfindliche Objekte oft mit Kräften, die Schäden verursachen würden.

VLA
Vollständige Studie lesen (PDF)
arXiv
TraversabilityFortgeschritten

Sprachinitialisierte Prototypen für Traversability: Präferenzlernen mit wenigen Annotationen

Simon Schwaiger, David Seyser, Alessandro Scherl, Zlatan Ajanović, Wilfried Wöber, Gerald Steinbauer-Wagner

Dieser Preprint stellt einen Traversability-Schätzer vor, der Geländepräferenzen als von-Mises-Fisher-Prototypen in einem eingefrorenen Vision-Language-Feature-Raum abbildet. Das Verfahren initialisiert die Prototypen mit sprachbasierten Regeln und passt sie anschließend mit wenigen relativen Bildannotationen an. Auf dem WayFAST-Datensatz erreicht der feinabgestimmte Schätzer eine Genauigkeit, die mit dem bisherigen Stand der Technik konkurriert, und verbessert die Dateneffizienz bei kleinen Trainingsmengen.

Vollständige Studie lesen (PDF)
arXiv
World modelsFortgeschritten

DeltaWorld: Physisch konsistenter interaktiver Weltsimulator mit aktionsbedingten latenten Inkrementen

Boyuan Hou, Xiaoge Cao, Chaofan Zhang, Shuo Wang, Shaowei Cui

DeltaWorld ist ein Preprint, das einen interaktiven Weltsimulator für Robotermanipulation beschreibt. Das Modell sagt aktionsbedingte Veränderungen im latenten Raum vorher statt vollständige nächste Zustände, wodurch langhorizontale Vorhersagen stabiler werden. Auf dem selbst gesammelten Cross-Robot-Datensatz reduziert es FVD um 46,6 % und LPIPS um 31,1 % gegenüber der IWS-Baseline.

Weltmodelle
Vollständige Studie lesen (PDF)
arXiv
Adaptive MPCFortgeschritten

LLA-MPC auf Embedded-Hardware: schnelle adaptive Regelung mit Tausenden parallelen Modellen

Henry Z. Liao, Maitham F. AL-Sunni, John M. Dolan

In einem Preprint stellen die Autoren eine verallgemeinerte Implementierung von LLA-MPC vor, die auf der F1TENTH-Plattform mit reibungsarmen Reifen läuft. Das lernfreie Verfahren identifiziert Reifenparameter online, indem es Tausende Kandidatenmodelle in Echtzeit auf einem eingebetteten Computer auswertet. In Experimenten meistert LLA-MPC schnelle Tracking-Aufgaben, bei denen ein festes Nominalmodell scheitert, und passt sich wechselnden Untergründen an.

Vollständige Studie lesen (PDF)
arXiv
Humanoid RLFortgeschritten

Jenseits von Reward Hacking: Proxy-Divergenz in vier Ebenen einer gestuften Humanoid-Lernpipeline

Arunabh Bora

Das Paper ist ein Preprint und entwickelt einen formalen Rahmen, der neben dem Reward auch Curriculum-Gates, Evaluationsstatistiken und Referenzbewegungen als Proxys analysiert. Die Autoren zeigen an einer simulierten, 1,91 m großen Humanoid-Policy, die über vier Stufen und 13.500 Iterationen mit PPO auf einer Laptop-GPU trainiert wurde, dass etwa ein über gemittelten Fehler getriggertes Gate bei jeder Prüfung vorrückte, obwohl die geprüfte Fähigkeit fehlte, und dass ein synchronisierter Pushtest einen 0,5-m/s-Stoß als gefährlicher einstufte als einen 2,0-m/s-Stoß. Für jede Ebene werden konkrete Reformulierungen vorgeschlagen, die ohne zusätzliches Training auskommen.

Humanoid
Vollständige Studie lesen (PDF)
arXiv
Visuomotor FusionFortgeschritten

Register-Routed Delayed Fusion: Registervermittelte Fusionsarchitektur verringert Shortcut-Anfälligkeit in visuomotorischen Policies

Jieting Long, Weidong Cai, Weiming Zhi

Das Preprint stellt Register-Routed Delayed Fusion (RRDF) vor, eine Fusionsarchitektur für visuomotorische Imitationsrichtlinien, die direkte Aufmerksamkeit zwischen kompakten und visuellen Tokens blockiert und über einen gelernten Register-Workspace verzögert zusammenführt. In fünf Simulationsaufgaben und drei realen Roboteraufgaben erreicht RRDF mindestens die nominale Leistung von dichtem ACT und verbessert die Erfolgsraten unter Verteilungsverschiebungen deutlich, etwa bei gehaltenen Objektpositionen. Der Ansatz reduziert messbar die Empfindlichkeit gegenüber Propriozeption relativ zum Bild, ohne die kompakte Konditionierung für den Aktionsgenerator zu entfernen.

Vollständige Studie lesen (PDF)
arXiv
Object Pose EstimationFortgeschritten

RYOPO: End-to-End-Kategorie-Level-Objektposenschätzung in Echtzeit

Hakjin Lee, Junghoon Seo, Jaehoon Sim

RYOPO ist ein End-to-End trainierbares, querybasiertes RGB-D-Set-Prediction-Verfahren, das Objekterkennung, Segmentierung und 9-DoF-Objektposenschätzung ohne explizite CAD-Formprioren oder externe Instanzsegmentierung vereint. Auf NOCS übertrifft es die publizierten RGB-D-Joint-Methoden deutlich, auf REAL275 und HouseCat6D erreicht es unter All-Object-Auswertung eine mit zweistufigen Pipelines vergleichbare Genauigkeit, bei 31,8 FPS für die Vollbild-Poseausgabe auf einer RTX A6000. Das Paper ist ein Preprint und wurde noch nicht begutachtet.

Vollständige Studie lesen (PDF)
arXiv
Laboratory ManipulationFortgeschritten

RoboChemGym: Protokollgetriebene generative Simulation für chemische Manipulation mit langem Horizont

Chenxi Li, Haiyuan Wan, Rui Li, Jingyuan Li, Sha Zhang, Bohan Feng, Jianbao Cao, Zhangrui Zhao, Di Hu, Wangmeng Zuo, Shixiang Tang, Minting Pan, Dongzhan Zhou

Das als Preprint veröffentlichte Framework RoboChemGym erzeugt aus textuellen Chemieprotokollen automatisiert hochwertige Manipulationsdemonstrationen für lange, mehrstufige Laboraufgaben. In sauberen Szenarien erreicht die Generierung Erfolgsraten von 89,2 %, 73,4 % und 52,3 % für Aufgaben mit 3, 7 bzw. 11 Einzelaktionen; mit Domänenrandomisierung sinken sie nur leicht auf 85,6 %, 70,3 % und 47,5 %. Die erzeugten Daten verbessern die Politikleistung deutlich, etwa steigt die Gesamtsequenzerfolgsrate von π0 auf Level-1 von 55,4 % auf 68,5 % durch Randomisierung, und in realen Versuchen erhöht die Kombination aus 10 realen und 1000 synthetischen Trajektorien die mittlere Erfolgsrate um durchschnittlich 23,3 Prozentpunkte.

Vollständige Studie lesen (PDF)
arXiv
VLAFortgeschritten

MixVLA: Adaptives Mischen nicht-invarianter Information für generalisierbare Vision-Language-Action-Modelle

Pingrui Zhang, Yu Zhang, Pengyuan Wu, Bin Wang, Haoming Song, Xianqiang Gao, ZhaxiZhuoma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

Das Paper stellt MixVLA vor, ein als Preprint veröffentlichtes, modellagnostisches Trainingsverfahren für Vision-Language-Action-Modelle. Es zerlegt latente Repräsentationen in invariante und nicht-invariante Anteile und regularisiert letztere durch adaptives Mischen, statt sie zu verwerfen. In Simulationen verbessert MixVLA die Zero-Shot-Erfolgsraten auf LIBERO-Plus um 6,6 Prozentpunkte gegenüber OpenVLA-OFT und auf RoboTwin 2.0 um 16,4 Prozentpunkte bei der Generalisierung auf randomisierte Umgebungen; im realen Versuch steigt die Erfolgsrate von 20 % auf 60 %.

VLA
Vollständige Studie lesen (PDF)
arXiv
Vision-Language NavigationFortgeschritten

GeoScaffold lernt kompakte geometrische Latents für effiziente Vision-Language-Navigation

Yixuan Jiang, Wentong Li, An Liu, Zihao Xin, Fulin Tang, Cong Leng, Yang Gao, Jian Cheng

Das Paper stellt GeoScaffold vor, ein Preprint, der geometrische Überwachung nur während des Trainings in Streaming-VLN-Policies einprägt. Das zentrale Ergebnis: Die 4B-Policy erreicht auf R2R-CE Val-Unseen 64,8 % SR und 60,5 % SPL und übertrifft damit 7B-Systeme, obwohl zur Inferenz nur RGB und Text verarbeitet werden. Die Methode benötigt keine Tiefensensoren oder 3D-Encoder zur Laufzeit und erreicht 81 ms pro Frame auf einer RTX 4090.

Vollständige Studie lesen (PDF)
arXiv
Curriculum RLFortgeschritten

BVER: Bidirektionales Voronoi-verzerrtes Exploration-Curriculum für Reinforcement Learning

Juri Pfammatter, Kaixian Qu, Clemens Schwarke, Victor Klemm, Marco Hutter

Die Autoren präsentieren mit BVER ein Curriculum-Verfahren für spärlich belohntes Goal-Conditioned Reinforcement Learning, das Startzustände rückwärts vom Ziel und Zwischenziele vorwärts von der Startverteilung expandiert und beide Frontiers über eine Voronoi-Verzerrung und einen Connect-Schritt aufeinander zuführt. In sechs simulierten Aufgaben lernt BVER schneller als alle verglichenen referenzfreien Curricula; beim Klettern auf eine 0,4 m hohe Box erreicht es 95 % Erfolg mit rund 65 % weniger Iterationen als die beste Baseline und schafft als einziges referenzfreies Verfahren auch die 0,7 m hohe Box. Das Paper ist ein Preprint und wird nicht als begutachtet dargestellt.

RL
Vollständige Studie lesen (PDF)
arXiv
Sim-to-real manipulationFortgeschritten

SARI: Phasensplittendes Sim-Real-Co-Training für kontaktintensive Manipulation

Xingxin He, Yuxuan Jiang, Haonan Zhang, Chuhan Cui, Kaile Li, Zhongxing Zheng, Caihao Xu, Ziqi Wang

SARI ist ein als Preprint veröffentlichter Ansatz, der kontaktintensive Manipulationsaufgaben in eine Annäherungs- und eine Kontaktphase zerlegt: Simulation liefert raumdeckende Annäherungsbahnen, reale Teleoperation nur wenige Kontaktinteraktionen. Auf fünf realen Aufgaben mit einem Franka-Roboter erreicht SARI bei ungesehenen Objektplatzierungen auf der Lamp-Aufgabe 27,5 % Erfolg, während alle Volltask-Baselines 0 % erreichen, und reduziert die reale Datenerfassungszeit um 34,3 %.

VLA
Vollständige Studie lesen (PDF)
arXiv
Fisheye detectionFortgeschritten

FUSEye: Trainingsleichtes Fisheye-Detektionsframework mit überlappenden Ansichten und Zero-Initialized Adapters

Wenya Su, Kai Luo, Di Wen, Ruiping Liu, Yufan Chen, Junwei Zheng, Kunyu Peng, Kailun Yang

Das Preprint stellt FUSEye vor, ein trainingsarmes Framework, das einen COCO-vortrainierten YOLO26-x-Detektor mit eingefrorenem Backbone durch überlappende Grid-Ansichten, Zero-Initialized Residual Adapters und Cross-Projection Agreement Fusion an Fisheye-Bilder anpasst. Auf dem WoodScape-MVR-Validierungssplit steigt der AP50 von 14,80 auf 26,61; damit werden 84,3 Prozent der vollständig feinabgestimmten Genauigkeit erreicht, während nur etwa 227.000 neue Parameter trainiert werden. Das ist relevant, weil Roboter so mit begrenzten Labels und Rechenressourcen Detektoren für stark verzerrte Weitwinkelkameras nachrüsten können.

Vollständige Studie lesen (PDF)
arXiv
Object SearchFortgeschritten

LOCUS: GNN-gestützte Instanzauswahl bei verdeckten Objekten in gleichartigen Behältern

Taylor Bergeron, Shibani Senthilbabu, Kevin Leahy

Der vorliegende Preprint stellt LOCUS vor, ein Verfahren, das CLIP-Embeddings über einen GNN auf einem Szenengraphen mit Landmarken- und Raumknoten anreichert, um bei verdeckten Objekten zwischen mehreren Behältern derselben Klasse zu unterscheiden. In der iTHOR-Simulation erreicht LOCUS einen ECO/N von 0,257 gegenüber 0,455 beim Zufall und 0,338 bei TidyBot; der auf iTHOR trainierte Ansatz überträgt sich ohne Feintuning auf RoboCasa und in ersten Hardwaretests auf einen Hello Robot Stretch 3. Damit liefert das Paper erstmals eine instanzbezogene Behälterdiskriminierung, die räumliche Landmarken statt reiner Klassenzuordnung nutzt.

Vollständige Studie lesen (PDF)
arXiv
Construction navigationFortgeschritten

Blueprint-gestützte, zeitplanbewusste Navigation für aktive Baustellen mit CORNAV

Parastoo Ali Pour, Deepak Prakash Kumar, Tommy Zhou, Pramod Khargonekar, Mohammad Abdullah Al Faruque

CORNAV ist ein Preprint-Framework, das 2D-CAD-Pläne, offene Vokabular-3D-Szenengraphen, Bauzeitpläne und eine LLM-basierte Sicherheitsvalidierung zu einer Navigationspipeline für mobile Roboter auf aktiven Baustellen kombiniert. In der Evaluation steigt die Aufgabenerfolgsrate durch Blueprint-gestützte Lokalisierung von 13,0 % auf 72,2 % gegenüber rein semantischem Retrieval, harte Sperrzonen werden ohne Verstoß eingehalten und gefährliche, fehlannotierte Zonen korrekt zurückgewiesen. Der Ansatz zeigt, dass Roboter ohne Building Information Model sicher auf sich verändernden Baustellen navigieren können.

Vollständige Studie lesen (PDF)
arXiv
Dexterous ManipulationFortgeschritten

DexJoCo-X benchmarkt Aktionsrepräsentationen für sieben dexteröse Hände

Xiangwei Jiang, Yao Mu, Lixin Duan, Wen Li

In diesem Preprint stellen die Autoren DexJoCo-X vor, ein Benchmark- und Toolkit für den kontrollierten Vergleich von Aktionsrepräsentationen über sieben dexteröse Hände, sechs Aufgaben und 2.100 ausbalancierte Demonstrationen. Zentrale Erkenntnis: Unter gemeinsamem Training einer Being-H0.5-Policy erreichen funktionsausgerichtete Aktionsslots 47,7 % mittleren Erfolg, nahezu gleichauf mit nativen Koordinaten (47,0 %), während gelernte Latenträume (DexLatent) auf 33,1 % abfallen. Damit wird belegt, dass die Repräsentationswahl vom gesamten Lernsystem abhängt und nicht isoliert betrachtet werden kann.

Feinmanipulation
Vollständige Studie lesen (PDF)

Themenseiten

Manipulation 6VLA 4World Action Models 5Aerial manipulation 3Dexterous manipulation 3Sim-to-Real Manipulation 3Social Navigation 3

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.