MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

408 Studien
ThemaAlleManipulation 65VLA 43Navigation 24Learning 23Robotics 22Perception 20Humanoid 15Safety 9Simulation 9Locomotion 8World Action Models 4Aerial 2Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 2World-action model 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continuum sensing 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
NiveauAlleEinstiegFortgeschrittenExperten
arXiv
VLA DefenseExperten

Erkennungsgesteuerte SAE-Feature-Unterdrückung macht VLA-Modelle robuster gegen Adversarial Patches

Yukiya Horiba, Koshiro Aoki, Shunsuke Yasuki, Bum Jun Kim, Taiki Miyanishi

Der Preprint stellt eine Abwehr für Vision-Language-Action-Modelle vor, bei der ein Sparse Autoencoder ein mit Adversarial Patches korreliertes internes Feature identifiziert und eine lineare Sonde Angriffe erkennt. Die Methode unterdrückt das Feature nur bei erkannter Attacke und verbessert auf LIBERO-10 die Erfolgsrate unter intermittierenden UADA-Angriffen, etwa bei π0.5 von 26,0 % auf 32,4 % bei n=10. Die Ergebnisse zeigen, dass gezielte Eingriffe in interne Repräsentationen die Robustheit erhöhen können, ohne das VLA-Modell feinzutunen.

VLA
Vollständige Studie lesen (PDF)
arXiv
Real-to-simExperten

LiteReality-Agent: Agentisches System rekonstruiert interaktive 3D-Innenräume aus RGB-D-Scans

Zhening Huang, Yueyan Li, Johnathan Chiu, Xiaoyang Lyu, Matt Zhou, Yuxin Yao, Joan Lasenby, Shangzhe Wu

LiteReality-Agent ist ein als Preprint veröffentlichtes, agentisches System, das RGB-D-Scans realer Innenräume in realistische, artikulierte und simulationsfähige 3D-Szenen überführt, indem ein Coding-Agent ein ausführbares Room.py-Programm iterativ schreibt und verifiziert. Auf zehn Szenen mit 620 Kamerabildern erreicht es die besten Werte unter anderem bei PSNR (14,129 dB), LPIPS (0,5392) und Depth MAE (10,50 cm) und schneidet in menschlichen Wahrnehmungsbewertungen deutlich besser ab als GPT-6 Astra und Fable 5.1. Der Code und die Erfassungs-App sind öffentlich verfügbar.

Vollständige Studie lesen (PDF)
arXiv
Multi-agent RLExperten

SCOUT: Testzeit-Koordination für Offline-MARL durch zerlegte Wertegradienten

Dongsu Lee, Haoran Xu, Amy Zhang

SCOUT ist ein Preprint-Framework für Offline-Multi-Agenten-Reinforcement-Learning, das einen flow-matching-basierten Verhaltensprior mit einer additiv zerlegten Q-Funktion kombiniert. Zur Testzeit transportiert jeder Agent Aktionspartikel per Stein Variational Gradient Descent in hochwertige Regionen und wählt anschließend die beste Aktion aus. Auf SMACv1 und MA-MuJoCo erreicht SCOUT die höchsten Durchschnittswerte (16,1 bzw. 82,12) und übertrifft in allen Offline-zu-Online-Konfigurationen MAC-Flow.

RL
Foundation
Vollständige Studie lesen (PDF)
arXiv
World Action ModelsFortgeschritten

Completion Aware Guidance verbessert World Action Models ohne Nachtraining

Seungyeon Kim, Junhoo Lee, Baekseung Kim, Minkyu Kim, Nojun Kwak

Der Preprint stellt Completion Aware Guidance (CAG) vor, eine trainingsfreie Sampling-Methode für World Action Models. CAG verstärkt während der Inferenz die für die aktuelle Vorhersage relevanten Instruktionsanteile und reduziert so die als task-incomplete imagination bezeichnete Fehlerart. In Simulationen steigt die Erfolgsquote bei DreamZero und Fast-WAM auf einem RoboTwin-2.0-Subset von 64,4 % auf 70,0 % und in Zero-Shot-Aufgaben von 69 % auf 75 %.

Vollständige Studie lesen (PDF)
arXiv
Streaming 3D reconstructionFortgeschritten

CLoSeR: Loop Closure für driftarme Streaming-Rekonstruktion im Kilometerbereich

Moyang Li, Zihan Zhu, Wei Zhang, Marc Pollefeys, Daniel Barath

CLoSeR erweitert das Feedforward-Streaming-Modell LoGeR um einen Loop-Closure-Mechanismus und ermöglicht so driftarme 3D-Rekonstruktion aus monokularen Videos im Kilometerbereich. Als Preprint berichtet, erzielt das System auf VBR einen mittleren ATE RMSE von 11,15 m und auf Oxford Spires 5,26 m, jeweils deutlich besser als die Basis LoGeR und andere Feedforward-Ansätze. Der Ansatz nutzt die global konsistente Skala von LoGeR und optimiert die Posen nur auf SE(3), ohne Sim(3)- oder SL(4)-Optimierung.

Vollständige Studie lesen (PDF)
arXiv
Autonomous DrivingEinstieg

Vierdimensionales Auswahlframework für Architekturen autonomer Fahrsysteme: Modular gegen End-to-End

Kartik B. Kapse

Der Preprint vergleicht modulare und End-to-End-Architekturen für autonomes Fahren und schlägt ein vierdimensionales Auswahlframework mit zwölf binären Kriterien vor. Das Framework wurde retrospektiv an zehn veröffentlichten Systemen getestet und empfahl in sieben Fällen die tatsächlich eingesetzte Architektur korrekt, davon viermal als exakte Übereinstimmung. Die Arbeit zeigt, dass hybride Architekturen die Vorteile beider Paradigmen vereinen können und für viele Einsatzszenarien eine vielversprechende Option darstellen.

Vollständige Studie lesen (PDF)
arXiv
Humanoid safetyFortgeschritten

Viability-Aware Policy Selection: Dreistufige Sicherheitswahl für Humanoid-Akrobatik

Siwei Ju, Lu Liu, Jan Peters, Oleg Arenz

Das als Preprint vorliegende Paper stellt Viability-Aware Policy Selection (VAPS) vor, eine Sicherheitsarchitektur für akrobatische Humanoide. VAPS kombiniert eine nominale Tracking-Policy mit einer Abbruch-Policy und einer Schutzfall-Policy und wählt über kurze Zeithorizonte jeweils die ambitionierteste noch viable Verhaltensoption. In Simulation auf einem Unitree G1 und real auf einem LimX Oli senkt VAPS Kopf- und Handkontakte drastisch und dominiert die stärksten getesteten Einzelnetz-Alternativen.

Humanoid
Vollständige Studie lesen (PDF)
arXiv
Pedestrian trackingFortgeschritten

Deployment-fokussiertes Tracker-Evaluierungsprotokoll für Fußgängerumgebungen

Dominik Wojcikiewicz, Diego Paez-Granados

Das Paper stellt ein Preprint vor, das ein deployment-fokussiertes, tracker-only Evaluierungsprotokoll mit gemeinsamen Detektionen für die 3D-Personenverfolgung entwickelt. Es testet Initialisierung, Fortsetzung bei Detektionslücken, Identitätswiederherstellung, Nahbereichszuordnung und Echtzeitlaufzeit auf dem JRDB-Datensatz und ergänzt HOTA um interpretierbare Erfolgsprofile. Ohne GT-Unterstützung erreichen die getesteten Tracker nur 24,26 bis 29,67 Prozent HOTA; nach 1,0 Sekunde Detektorausfall behält kein Tracker ohne GT-Hilfe in mehr als der Hälfte der Fälle räumlich korrekte Ausgabe mit gleicher Identität, und die Laufzeit auf dem Jetson Orin zeigt lastabhängige Einbrüche, bei denen mehrere Tracker das 10-Hz-Echtzeitziel unterschreiten.

Vollständige Studie lesen (PDF)
arXiv
Robot-Use AgentsFortgeschritten

OpenRUA: Coding-Agents als Zero-Shot-Visuomotorik-Policies über natives ROS 2

Zhaoyang Chu, Earl T. Barr, Claire Le Goues, Peter O'Hearn, Mark Harman, Federica Sarro, He Ye

OpenRUA ist ein Preprint, der einen Zero-Abstraction-Harness für Robot-Use-Agents vorstellt. Statt spezieller Abstraktionsschichten erhält ein handelsüblicher Coding-Agent nur Terminal-Zugriff auf die native ROS-2-Schnittstelle des Roboters sowie einen Workspace mit Dokumentation und Basistools. Mit Claude Code und Claude Opus 5 erreicht das System im Zero-Shot-Betrieb Erfolgsraten von 99,0 % auf CaP-Bench und 87,0 % auf LIBERO-PRO und zeigt, dass Coding-Agents ohne roboterspezifisches Training oder vorgefertigte Primitive als Visuomotorik-Policy fungieren können.

ROS 2
Vollständige Studie lesen (PDF)
arXiv
Navigation & MappingFortgeschritten

GlassGuard kartiert Glasflächen verifiziert für sichere Roboternavigation

Hanwen Guo, Zhengzhi Lin, Yusen Xie, Ji Zhang

GlassGuard ist ein Preprint-Framework, das transparente Architekturverglasung aus Kamera- und LiDAR-Daten rekonstruiert und als Hindernis in die Navigationskarte einträgt. In neun realen Gebäudeszenen mit mehr als einer Stunde und 2,1 km Fahrt erreicht die Panoramavariante 85,2 % Gesamtabdeckung, die Pinhole-Variante 82,1 % gegenüber höchstens 61 % der getesteten Baselines, bei 5- bis 17-mal weniger falschen Voxeln pro Bild. Der Ansatz verbindet damit Sicherheit durch Glasabdeckung mit Nutzbarkeit durch geringe Belegung des Freiraums.

LiDAR
Vollständige Studie lesen (PDF)
arXiv
Imitation LearningExperten

EF-GAIfO: erfahrungsbasierte Machbarkeitsschätzung für Imitation aus Beobachtung bei Verkörperungsunterschieden

Yoshiki Takebayashi, Giovanni Perantoni, Hikaru Sasaki, Matteo Saveriano, Takamitsu Matsubara

Das Preprint stellt EF-GAIfO vor, ein Verfahren, das die Durchführbarkeit zustandsbasierter Demonstrationen aus der eigenen Robotererfahrung schätzt und unausführbare Übergänge während des GAIfO-Trainings heruntergewichtet. In Simulation und auf einem echten Unitree Go2 erreicht EF-GAIfO in einer Objekt-Greifaufgabe Erfolgsraten von 70 bis 80 Prozent, die Baselines GAIfO und WGAIfO dagegen 10 bis 30 Prozent. Der Ansatz kommt ohne explizites Dynamikmodell und ohne vorab gesammelte Explorationsdaten aus.

Vollständige Studie lesen (PDF)
arXiv
World ModelsExperten

World Motion Models für flexible Sequenzmodellierung von SE(3)-Trajektorien

Jiahui Lei, Qianqian Wang, Trevor Darrell, Angjoo Kanazawa

Das als Preprint veröffentlichte Paper stellt World Motion Models (WMM) vor, ein generatives Modell, das dynamische 3D-Szenen über spärliche SE(3)-Posentrajektorien abbildet. Ein einzelnes WMM kann durch Maskierung beliebige bedingte Verteilungen abfragen, etwa Politik, Dynamikvorhersage, Retargeting oder Planung. Auf dem Language-Table-Benchmark erreicht WMM 87,2 % durchschnittliche Erfolgsrate und übertrifft die genannten Baselines.

Vollständige Studie lesen (PDF)
arXiv
Federated 3D PerceptionFortgeschritten

FedCKA: Dynamische Layer-Personalisierung für föderierte 3D-Objekterkennung über Fahrdomänen

Jolle Verhoog, Ali Burak Ünal, Holger Caesar

Das Paper stellt FedCKA vor, eine Methode zur dynamischen Layer-Personalisierung im föderierten Lernen für multimodale 3D-Objekterkennung. FedCKA nutzt Centered Kernel Alignment, um schichtweise Repräsentationsähnlichkeiten zwischen lokalen Client-Modellen und dem globalen Modell zu messen und daraus client-spezifische Aggregationsmasken abzuleiten. Auf einem nuScenes-basierten Benchmark mit fünf heterogenen Fahrdomänen verbessert FedCKA den durchschnittlichen NDS um 7 Prozentpunkte gegenüber der stärksten föderierten Baseline. Das Paper ist ein Preprint und nicht begutachtet.

Vollständige Studie lesen (PDF)
arXiv
Event-camera VOExperten

Echtzeit-Stereo-VO für Eventkameras durch Keytime-GP-Regression

Nikan Nobari, Jonathan D. Gammell

Das Paper stellt als Preprint eine kontinuierliche Stereo-Visual-Odometry-Pipeline für Eventkameras vor, die mit Keytime-Interpolation und einem WNOA-GP-Prior die asynchronen Messzeitpunkte erhält und dennoch Echtzeit erreicht. Auf MVSEC und DSEC liefert sie Schätzungen mit 22 Hz beziehungsweise 6 Hz und reduziert die relativen RMS-Fehler gegenüber ES-PTAM um Faktor 11 bei Translation und Faktor 15 bei Rotation. Damit zeigt der Ansatz, dass die volle zeitliche Auflösung von Eventkameras nicht mit hohem Rechenaufwand verbunden sein muss.

Vollständige Studie lesen (PDF)
arXiv
World Action ModelsExperten

ProWAM: Progressive visuelle Teilziele verbessern Effizienz und Robustheit von Weltaktionsmodellen

Fei Zhang, Zhaochong An, Duncan Frost, Yikai Wang, Pengfei Liu, Ya Zhang, Michal Drozdzal, Amir Bar

ProWAM ist ein als Preprint veröffentlichter World Action Model, das Aktionsblöcke und eine geordnete Folge spärlicher visueller Teilziele gemeinsam vorhersagt. In Simulationen erreicht es neue Spitzenwerte auf LIBERO-Plus mit 85,8 % und auf randomisiertem RoboTwin mit 75,7 %; in realen Zero-Shot-Versuchen auf einem Franka-Roboter erzielt es 70,0 % Erfolg und übertrifft die stärkste Baseline DreamZero um 15,0 Prozentpunkte. Durch das Zwischenspeichern von Teilziel-Merkmalen reduziert ProWAM die Rechenlast des Video-Experten deutlich und zeigt einen günstigen Kompromiss zwischen Effizienz und Generalisierung.

Vollständige Studie lesen (PDF)
arXiv
Humanoid Tool UseFortgeschritten

HumanoidToolBench: Benchmark für menschenähnliche Werkzeugnutzung von Auswahl bis mobiler Ausführung

Kyochul Jang, Seohyeon Park, Ohchul Kwon, Sangjun Park, Junhyeok Choi, Seungyeop Yi, Chaeyun Kim, Sangkyu Lee, Idan Szpektor, Avi Caciularu, Jongmin Park, Youngjae Yu

Der Preprint stellt HumanoidToolBench vor, einen Benchmark mit 18 Aufgaben, der Werkzeugauswahl, stationäre Nutzung und mobile Ausführung auf einem humanoiden Roboter prüft. Dazu gehört ToolBook, ein Datensatz mit 3.094 Teleoperations-Demonstrationen, davon 3.003 in Simulation und 91 auf einem realen Unitree G1. Erste Evaluierungen von sieben Policies in Simulation und drei auf dem realen Roboter zeigen deutliche Lücken zwischen der Auswahl eines geeigneten Werkzeugs und dem erfolgreichen Abschluss der Aufgabe.

Humanoid
Vollständige Studie lesen (PDF)
arXiv
Manipulation LfDExperten

SC-DMPs: Interaktionssteifigkeit führt Basisfunktionsallokation für präzises Skill-Lernen

Chan Xu, Silu Chen, Dehao Wang, Xiyu Chen, Dexin Jiang, Chi Zhang, Guilin Yang, Chenguang Yang, Zaojun Fang

Die Autoren stellen Stage-Criticality-Guided Dynamic Movement Primitives (SC-DMPs) vor, die die Verteilung der Basisfunktionen anhand einer aus Bediener-Roboter-Interaktionssteifigkeit und Bahnvariabilität abgeleiteten Kritikalität anpassen. In Handschrift- und realen Roboteraufgaben erzielen SC-DMPs im Vergleich zu DMPs, ProMPs, ProDMP, GP-MP und KMP geringere Reproduktions- und Generalisierungsfehler, insbesondere in aufgabenkritischen Abschnitten, bei kompakter Modellgröße. Der Beitrag ist zur Veröffentlichung in IEEE Transactions on Industrial Informatics angenommen.

Vollständige Studie lesen (PDF)
arXiv
Quadruped locomotionFortgeschritten

PROMO: Präferenzgesteuertes Multi-Objective-RL für Quadrupeden

Amr Mousa, Rifny Rachman, Neil Karavis, Michele Caprio, Richard Allmendinger

PROMO ist ein Preprint-Framework für semantisches präferenzkonditioniertes Multi-Objective-Reinforcement-Learning. Eine einzelne Richtlinie macht die Abwägung zwischen Kommandotreue, Stabilität und Energieeffizienz zur Laufzeiteingabe und trennt diese von festen lokomotionsspezifischen Prioritäten. In Simulation werden über 100 Präferenzen 67 nichtdominierte Verhalten erreicht und eine mittlere Präferenz-Objektiv-Korrelation von 0,843 gemessen; auf einem Unitree Go2 senkt allein die Präferenzänderung die spezifische Energie um bis zu 30,4 Prozent, den Positionsfehler um bis zu 38,7 Prozent und die maximale Körperlageabweichung um bis zu 59,0 Prozent.

RL
Vollständige Studie lesen (PDF)
arXiv
Failure recoveryFortgeschritten

Recova: Agentengeführtes Fehler-Recovery für autonome Robotermanipulation

Isabella Liu, An-Chieh Cheng, Johan Bjorck, Zhiding Yu, Hongxu Yin, Jan Kautz, Linxi Fan, Yuke Zhu, Sifei Liu

Der Preprint beschreibt Recova, ein agentengeführtes Framework, das Aufgabenausführung und Szenen-Wiederherstellung in einem rekonstruierten digitalen Zwilling gemeinsam entwickelt und über echte Robotereinsätze verfeinert. In sechs LIBERO-Pro-Settings und vier MolmoSpaces-Kategorien erreicht das System 78,8 bzw. 64,9 Prozent mittlere Erfolgsrate und übertrifft die stärksten Baseline-Methoden um 7,1 bzw. 26,9 Prozentpunkte. Auf realen Robotern steigt die mittlere Erfolgsrate nach parallelem DAgger-Feintuning von 23,8 auf 77,5 Prozent und mit Recovery-Fähigkeiten auf 87,5 Prozent, während die beobachtete menschliche Eingriffsrate in vier Runden einer Aufgabe von 87,5 auf 0 Prozent fällt.

Vollständige Studie lesen (PDF)
arXiv
Sim-to-real NavigationExperten

EIDA: Execution-Interface Dynamics Adaptation für Real-to-Sim-to-Real-Roboternavigation

Yiwei Qian, Shanze Wang, Qingyuan Hu, Xinming Zhang, Wei Zhang

Der Preprint stellt EIDA vor, ein Verfahren zur Übertragung von Navigationsrichtlinien aus leichtgewichtiger Simulation auf Zielroboter. Es ersetzt die Befehls-Bewegungs- und Geschwindigkeitsrückmeldungsmodelle durch aus Ausführungsdaten gelernte Modelle und ergänzt die Richtlinieneingabe um eine kurze Historie der Geschwindigkeitsrückmeldung. In 100 BARN-Simulationsumgebungen erreicht EIDA die höchste Erfolgsrate unter den verglichenen gelernten Richtlinien; auf einem physischen Unitree Go2 gelingt in allen 20 statischen Versuchen eine kollisionsfreie Zielanfahrt, die Baseline nur in 4 von 20.

Vollständige Studie lesen (PDF)

Themenseiten

Manipulation 6VLA 4World Action Models 5Aerial manipulation 3Dexterous manipulation 3Sim-to-Real Manipulation 3Social Navigation 3

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.