MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

276 Studien
ThemaAlleManipulation 27VLA 22Perception 12Robotics 11Navigation 10Humanoid 9Learning 8Safety 5World Action Models 4Simulation 3Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 2World-action model 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continuum sensing 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1Locomotion 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
arXiv
Object Pose EstimationFortgeschritten

RYOPO: End-to-End-Kategorie-Level-Objektposenschätzung in Echtzeit

Hakjin Lee, Junghoon Seo, Jaehoon Sim

RYOPO ist ein End-to-End trainierbares, querybasiertes RGB-D-Set-Prediction-Verfahren, das Objekterkennung, Segmentierung und 9-DoF-Objektposenschätzung ohne explizite CAD-Formprioren oder externe Instanzsegmentierung vereint. Auf NOCS übertrifft es die publizierten RGB-D-Joint-Methoden deutlich, auf REAL275 und HouseCat6D erreicht es unter All-Object-Auswertung eine mit zweistufigen Pipelines vergleichbare Genauigkeit, bei 31,8 FPS für die Vollbild-Poseausgabe auf einer RTX A6000. Das Paper ist ein Preprint und wurde noch nicht begutachtet.

arXiv
Laboratory ManipulationFortgeschritten

RoboChemGym: Protokollgetriebene generative Simulation für chemische Manipulation mit langem Horizont

Chenxi Li, Haiyuan Wan, Rui Li, Jingyuan Li, Sha Zhang, Bohan Feng, Jianbao Cao, Zhangrui Zhao, Di Hu, Wangmeng Zuo, Shixiang Tang, Minting Pan, Dongzhan Zhou

Das als Preprint veröffentlichte Framework RoboChemGym erzeugt aus textuellen Chemieprotokollen automatisiert hochwertige Manipulationsdemonstrationen für lange, mehrstufige Laboraufgaben. In sauberen Szenarien erreicht die Generierung Erfolgsraten von 89,2 %, 73,4 % und 52,3 % für Aufgaben mit 3, 7 bzw. 11 Einzelaktionen; mit Domänenrandomisierung sinken sie nur leicht auf 85,6 %, 70,3 % und 47,5 %. Die erzeugten Daten verbessern die Politikleistung deutlich, etwa steigt die Gesamtsequenzerfolgsrate von π0 auf Level-1 von 55,4 % auf 68,5 % durch Randomisierung, und in realen Versuchen erhöht die Kombination aus 10 realen und 1000 synthetischen Trajektorien die mittlere Erfolgsrate um durchschnittlich 23,3 Prozentpunkte.

arXiv
VLAFortgeschritten

MixVLA: Adaptives Mischen nicht-invarianter Information für generalisierbare Vision-Language-Action-Modelle

Pingrui Zhang, Yu Zhang, Pengyuan Wu, Bin Wang, Haoming Song, Xianqiang Gao, ZhaxiZhuoma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

Das Paper stellt MixVLA vor, ein als Preprint veröffentlichtes, modellagnostisches Trainingsverfahren für Vision-Language-Action-Modelle. Es zerlegt latente Repräsentationen in invariante und nicht-invariante Anteile und regularisiert letztere durch adaptives Mischen, statt sie zu verwerfen. In Simulationen verbessert MixVLA die Zero-Shot-Erfolgsraten auf LIBERO-Plus um 6,6 Prozentpunkte gegenüber OpenVLA-OFT und auf RoboTwin 2.0 um 16,4 Prozentpunkte bei der Generalisierung auf randomisierte Umgebungen; im realen Versuch steigt die Erfolgsrate von 20 % auf 60 %.

arXiv
Vision-Language NavigationFortgeschritten

GeoScaffold lernt kompakte geometrische Latents für effiziente Vision-Language-Navigation

Yixuan Jiang, Wentong Li, An Liu, Zihao Xin, Fulin Tang, Cong Leng, Yang Gao, Jian Cheng

Das Paper stellt GeoScaffold vor, ein Preprint, der geometrische Überwachung nur während des Trainings in Streaming-VLN-Policies einprägt. Das zentrale Ergebnis: Die 4B-Policy erreicht auf R2R-CE Val-Unseen 64,8 % SR und 60,5 % SPL und übertrifft damit 7B-Systeme, obwohl zur Inferenz nur RGB und Text verarbeitet werden. Die Methode benötigt keine Tiefensensoren oder 3D-Encoder zur Laufzeit und erreicht 81 ms pro Frame auf einer RTX 4090.

arXiv
Curriculum RLFortgeschritten

BVER: Bidirektionales Voronoi-verzerrtes Exploration-Curriculum für Reinforcement Learning

Juri Pfammatter, Kaixian Qu, Clemens Schwarke, Victor Klemm, Marco Hutter

Die Autoren präsentieren mit BVER ein Curriculum-Verfahren für spärlich belohntes Goal-Conditioned Reinforcement Learning, das Startzustände rückwärts vom Ziel und Zwischenziele vorwärts von der Startverteilung expandiert und beide Frontiers über eine Voronoi-Verzerrung und einen Connect-Schritt aufeinander zuführt. In sechs simulierten Aufgaben lernt BVER schneller als alle verglichenen referenzfreien Curricula; beim Klettern auf eine 0,4 m hohe Box erreicht es 95 % Erfolg mit rund 65 % weniger Iterationen als die beste Baseline und schafft als einziges referenzfreies Verfahren auch die 0,7 m hohe Box. Das Paper ist ein Preprint und wird nicht als begutachtet dargestellt.

arXiv
Sim-to-real manipulationFortgeschritten

SARI: Phasensplittendes Sim-Real-Co-Training für kontaktintensive Manipulation

Xingxin He, Yuxuan Jiang, Haonan Zhang, Chuhan Cui, Kaile Li, Zhongxing Zheng, Caihao Xu, Ziqi Wang

SARI ist ein als Preprint veröffentlichter Ansatz, der kontaktintensive Manipulationsaufgaben in eine Annäherungs- und eine Kontaktphase zerlegt: Simulation liefert raumdeckende Annäherungsbahnen, reale Teleoperation nur wenige Kontaktinteraktionen. Auf fünf realen Aufgaben mit einem Franka-Roboter erreicht SARI bei ungesehenen Objektplatzierungen auf der Lamp-Aufgabe 27,5 % Erfolg, während alle Volltask-Baselines 0 % erreichen, und reduziert die reale Datenerfassungszeit um 34,3 %.

arXiv
Egocentric videoExperten

WING überträgt egozentrisches Videowissen über interaktionszentrierte spektrale Latentführung auf Roboter-Policies

Zhiming Liu, Yikun Miao, Ying Chen, Hongrui Yin, Fangqi Zhu, Xiaoyi Pang, Quanxin Shou, Zhengyang Yan, Haodong Wang, Song Guo

WING ist ein Preprint-Framework, das Interaktionswissen aus egozentrischen Videos in Roboter-Policies überträgt. Es lernt interaktionszentrierte latente Aktionen, trennt Beobachterbewegung von Interaktionsdynamik und nutzt niederfrequente spektrale Anteile als Führung. In Simulation erreicht WING 99,20 % auf LIBERO, 93,80 % auf RoboTwin 2.0 und 57,7 % auf RoboCasa-GR1 sowie 75,0 % mittlere Erfolgsrate unter Standardbedingungen in realen bimanuellen Aufgaben.

arXiv
Visual GeneralizationExperten

VIGOR: Latent-Space-Konsistenz für robuste Zero-Shot-Visualisierung in MBRL

Mingyu Park, Samyeul Noh, Hyun Myung, Donghwan Lee

VIGOR ist ein Preprint-Framework für modellbasiertes Reinforcement Learning, das mit asymmetrischer Weak-to-Strong-Augmentierung, Dynamics-Level-Konsistenz und Encoder-Stabilisierung die Zero-Shot-Generalisierung unter visuellen Störungen verbessert. Auf DeepMind Control Suite übertrifft es die zweitbeste Baseline um 3,4 Prozent, auf Robosuite um 43,6 Prozent, bei erhaltener Sample-Effizienz des TD-MPC2-Backbones. Damit adressiert es eine strukturelle Schwäche latenter Weltmodelle, bei der Störungen über rekursive Rollouts kumulieren.

arXiv
Mobile manipulationExperten

MobiAgent: Dual-Loop-Agentensystem für mobile Manipulation mit rekursiver Selbstverbesserung

Chenzhi Liu, Yue Zhang, Jiehong Lin, Jianan Wang, Bo Wang, Zhongrui Wang, Xiaojuan Qi

MobiAgent ist ein als Preprint veröffentlichter Dual-Loop-Agentenframework für langhorizontige mobile Manipulation. Der Inner Loop kombiniert einen VLM-basierten Task Planner, einen Skill Executor mit gemeinsamen VLM-Backbone und getrennten Flow-Matching-Experten sowie einen Reflection Critic zur Verifikation und globalen Replanung; der Outer Loop segmentiert und verifiziert Rollouts automatisch, clustert atomare Skills und trainiert die Skill-Bibliothek kontinuierlich ohne manuelle Annotation. Auf BEHAVIOR-1K erreicht MobiAgent eine mittlere Erfolgsrate von 65,0 % und übertrifft die aufgabenspezifische Baseline π0.5-TA um 22,5 Prozentpunkte; auf dem realen Astribot S1 steigt die Erfolgsrate durch Datenrecycling von 32,5 % auf 57,5 %.

arXiv
Fisheye detectionFortgeschritten

FUSEye: Trainingsleichtes Fisheye-Detektionsframework mit überlappenden Ansichten und Zero-Initialized Adapters

Wenya Su, Kai Luo, Di Wen, Ruiping Liu, Yufan Chen, Junwei Zheng, Kunyu Peng, Kailun Yang

Das Preprint stellt FUSEye vor, ein trainingsarmes Framework, das einen COCO-vortrainierten YOLO26-x-Detektor mit eingefrorenem Backbone durch überlappende Grid-Ansichten, Zero-Initialized Residual Adapters und Cross-Projection Agreement Fusion an Fisheye-Bilder anpasst. Auf dem WoodScape-MVR-Validierungssplit steigt der AP50 von 14,80 auf 26,61; damit werden 84,3 Prozent der vollständig feinabgestimmten Genauigkeit erreicht, während nur etwa 227.000 neue Parameter trainiert werden. Das ist relevant, weil Roboter so mit begrenzten Labels und Rechenressourcen Detektoren für stark verzerrte Weitwinkelkameras nachrüsten können.

arXiv
Humanoid ControlExperten

KungfuAthleteBot: Hochdynamische Humanoide aus Video mit einheitlicher robuster Erholung

Zhongxiang Lei, Lulu Cao, Xuyang Wang, Tianyi Qian, Jinyan Liu, Xuesong Li

Der Preprint stellt KungfuAthleteBot (KAB) vor, ein Framework, das hochdynamische Bewegungen aus Videos von Kampfsportlern extrahiert, physikalisch repariert und auf einem Unitree G1 trainiert. Es kombiniert eine physikbasierte Korrektur der Flugphase, ein Sampling nach niedriger kinetischer Energie und eine einheitliche Policy für Tracking, Störungsunterdrückung und Aufstehen nach Stürzen. Auf dem realen Roboter erholt sich die Policy in etwa 0,7 s, laut Autoren die schnellste berichtete Erholung für eine einheitliche Policy.

arXiv
Object SearchFortgeschritten

LOCUS: GNN-gestützte Instanzauswahl bei verdeckten Objekten in gleichartigen Behältern

Taylor Bergeron, Shibani Senthilbabu, Kevin Leahy

Der vorliegende Preprint stellt LOCUS vor, ein Verfahren, das CLIP-Embeddings über einen GNN auf einem Szenengraphen mit Landmarken- und Raumknoten anreichert, um bei verdeckten Objekten zwischen mehreren Behältern derselben Klasse zu unterscheiden. In der iTHOR-Simulation erreicht LOCUS einen ECO/N von 0,257 gegenüber 0,455 beim Zufall und 0,338 bei TidyBot; der auf iTHOR trainierte Ansatz überträgt sich ohne Feintuning auf RoboCasa und in ersten Hardwaretests auf einen Hello Robot Stretch 3. Damit liefert das Paper erstmals eine instanzbezogene Behälterdiskriminierung, die räumliche Landmarken statt reiner Klassenzuordnung nutzt.

arXiv
Multi-view perceptionExperten

SNAP: Selbstüberwachtes geometrisches Repräsentationslernen durch Novel View Synthesis mit eingeschränktem Decoder

Keerthi Kaashyap, Dennis Anthony, Akshay Krishnan, Nhi Ngoc Nguyen, Jeremy Collins, James Hays, Shreyas Kousik, Animesh Garg

Das Preprint stellt SNAP vor, einen selbstüberwachten Encoder-Decoder-Transformer für geometrisches Repräsentationslernen aus Novel View Synthesis. Mit posefreiem Encoder, festen DINOv3-Merkmalen und einem posekonditionierten, lokal begrenzten Decoder erreicht SNAP über fünf Aufgaben hinweg Ergebnisse nahe an geometrieüberwachten Modellen, ohne dichte 3D-Annotationen zu benötigen. Besonders in der Robotermanipulation unter Kameraverschiebungen bleiben die Repräsentationen deutlich stabiler als bei 2D-Modellen und liegen nahe an VGGT.

arXiv
Construction navigationFortgeschritten

Blueprint-gestützte, zeitplanbewusste Navigation für aktive Baustellen mit CORNAV

Parastoo Ali Pour, Deepak Prakash Kumar, Tommy Zhou, Pramod Khargonekar, Mohammad Abdullah Al Faruque

CORNAV ist ein Preprint-Framework, das 2D-CAD-Pläne, offene Vokabular-3D-Szenengraphen, Bauzeitpläne und eine LLM-basierte Sicherheitsvalidierung zu einer Navigationspipeline für mobile Roboter auf aktiven Baustellen kombiniert. In der Evaluation steigt die Aufgabenerfolgsrate durch Blueprint-gestützte Lokalisierung von 13,0 % auf 72,2 % gegenüber rein semantischem Retrieval, harte Sperrzonen werden ohne Verstoß eingehalten und gefährliche, fehlannotierte Zonen korrekt zurückgewiesen. Der Ansatz zeigt, dass Roboter ohne Building Information Model sicher auf sich verändernden Baustellen navigieren können.

arXiv
Dexterous manipulationExperten

PointWAM: 3D-Weltaktionsmodell sagt Szenen- und Handbewegungen gemeinsam voraus

Chunghyun Park, Beomjun Kim, Seungcheol Park, Heeseung Kwon, Yashu Shukla, Seunghoon Sim, Jinwoo Shin, Minsu Cho

PointWAM ist ein Preprint, das die Welt in Szene und Hände zerlegt und beide als 3D-Punkttrajektorien in einem gemeinsamen Raum-Zeit-Koordinatensystem vorhersagt. Auf zehn DexJoCo-Aufgaben erreicht das Modell 69,0 Prozent Erfolgsrate und übertrifft die stärkste Baseline um 11,7 Prozentpunkte; Vortraining auf 1,15 Millionen menschlichen Demonstrationsvideos liefert einen Gewinn von 56,9 Prozentpunkten gegenüber Training von Grund auf. Damit zeigt der Ansatz, dass gemeinsame 3D-Weltmodellierung und menschenbasiertes Vortraining geschickte Manipulation deutlich verbessern können.

arXiv
Dexterous ManipulationFortgeschritten

DexJoCo-X benchmarkt Aktionsrepräsentationen für sieben dexteröse Hände

Xiangwei Jiang, Yao Mu, Lixin Duan, Wen Li

In diesem Preprint stellen die Autoren DexJoCo-X vor, ein Benchmark- und Toolkit für den kontrollierten Vergleich von Aktionsrepräsentationen über sieben dexteröse Hände, sechs Aufgaben und 2.100 ausbalancierte Demonstrationen. Zentrale Erkenntnis: Unter gemeinsamem Training einer Being-H0.5-Policy erreichen funktionsausgerichtete Aktionsslots 47,7 % mittleren Erfolg, nahezu gleichauf mit nativen Koordinaten (47,0 %), während gelernte Latenträume (DexLatent) auf 33,1 % abfallen. Damit wird belegt, dass die Repräsentationswahl vom gesamten Lernsystem abhängt und nicht isoliert betrachtet werden kann.

arXiv
Simulation geometryExperten

I2CD: Direkte Vorhersage konvexer Zerlegungen aus Einzelbildern für simulationsfertige Kollisionsgeometrie

Qian Wang, Liam Merz Hoffmeister, Brian Scassellati, Daniel Rakita

Der Preprint stellt I2CD vor, ein Verfahren, das aus einem einzelnen RGB-Bild direkt eine konvexe Zerlegung eines Objekts erzeugt, statt den Umweg über Mesh-Reparatur und nachträgliche Zerlegung zu gehen. Dazu wird ein eingefrorener Hunyuan3D-2-Backbone um einen leichten Cross-Attention-Kopf mit 38 Mio. Parametern ergänzt. Auf 227 Objekten erreicht I2CD den höchsten volumetrischen IoU (65,7 %) bei 6- bis 37-fach kürzerer Laufzeit als acht Rekonstruktions-basierte Pipelines; auf einem physischen xArm7 sinkt die Zeit für eine 20-Objekte-Szene von 328 s auf 11 s bei vergleichbarem Erfolg (85 von 100 gegenüber 90 von 100).

arXiv
Lab automationFortgeschritten

Passives Vision-System verifiziert Deck-Aufbau auf Opentrons Flex ohne Robotereingriff

Junqiong Joanne Qiu, Zeckria Kamrany, Ananya Anand, Emma Vidal, Yunjia Johanna Bai, Nathan S Chen, Sean Son, Varada Abhyankar, Taryn Jakub, Eleazar Eskin

Der vorliegende Preprint beschreibt den Labware Setup Checker, ein passives Vision-System, das mit einer externen Webcam und YOLO-Modellen die Deck-Bestückung eines Opentrons Flex gegen ein Protokoll prüft. In Tests zur Vorbereitung eines SwabSeq-Protokolls wurden 95,1 % der exakten Labware-Zuordnungen korrekt klassifiziert, und die Deck-Regionen wurden in Okklusions- und Beleuchtungstests zu 100 % lokalisiert. Das System läuft ohne Änderungen an Hardware oder Firmware und liefert Ergebnisse in wenigen Sekunden.

arXiv
Bimanual ManipulationFortgeschritten

EyeRobot 2.0: Aktive Blicksteuerung ersetzt Handgelenkkameras für präzise bimanuale Manipulation

Kush Hari, Justin Kerr, Nidhya Shivakumar, Samarth Mahapatra, Carmelo Sferrazza, Jiahui Lei, Jitendra Malik, C. Karen Liu, Ken Goldberg, Angjoo Kanazawa

EyeRobot 2.0 ist ein Preprint, der einen Rahmen für präzise bimanuale Manipulation mit nur einer festen Stereokamera vorstellt. Das System richtet den Blick aktiv auf 3D-Fixationspunkte, verarbeitet die Bilder foveal und kanonisiert Aktionen im Fixationsrahmen. In über 1000 physischen Versuchen übertrifft es passive Stereo-Baselines um 40 Prozentpunkte in der realen Welt und um 20 Prozentpunkte in der Simulation; es erreicht die Leistung von Ego+Wrist-Richtlinien, wenn deren Sicht frei ist, und verdoppelt diese, wenn die Handgelenkkameras verdeckt sind.

arXiv
JEPA World ModelsExperten

AVL-JEPA verhindert Informationskollaps kausaler Dynamik in JEPA-Weltmodellen

Yikang Qiao, Ling Zhang, Ziying Song, Duan Huang

Der Preprint stellt mit AVL-JEPA einen Ansatz vor, der verhindert, dass JEPA-Weltmodelle handlungsbedingte physikalische Dynamik zugunsten visueller Information ausblenden. In Simulationen auf vier Roboteraufgaben verbessert AVL die Erfolgsraten unter visuellen Störungen deutlich, etwa auf PushT unter Gaussian Noise von 15,3 auf 81,5 Prozent, und erhält gleichzeitig die Leistung ohne Störungen. Der Preprint liefert damit Belege, dass der Erhalt kausal relevanter Dynamikinformation die Planungsrobustheit von Weltmodellen steigert.

Themenseiten

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.