MEKAWIRE
Forschung

Studien

Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.

12 Studien
ThemaAlleManipulation 62VLA 43Navigation 24Learning 23Robotics 22Perception 20Humanoid 13Safety 9Locomotion 8Simulation 8World Action Models 4World-action model 3Aerial 2Aerial manipulation 2Dexterous manipulation 2Sim-to-Real Manipulation 2Social Navigation 2Vision-Language Navigation 2World models 23D Assembly 13DGS dataset 15G Simulation 1AMR Operations 1Active vision manipulation 1Adaptive MPC 1Adaptive action horizons 1Adaptive intervention 1Aerial Manipulation 1Aerial navigation 1Agricultural Robotics 1Articulation Estimation 1Autonomous Driving 1Autonomous Exploration 1Battery-aware RL 1Belief-space planning 1Bimanual Manipulation 1Byzantine localization 1Canal inspection 1Co-speech Humanoid 1Compositional Manipulation 1Construction navigation 1Contact-Rich Manipulation 1Contact-rich Manipulation 1Continual reinforcement learning on top of robot foundation models 1Continuum sensing 1Cross-embodiment transfer of humanoid whole-body controllers 1Curriculum RL 1Dexterous Manipulation 1Distributed Manipulation 1Distribution Shift 1Driving Simulation 1Efficient VIO 1Egocentric data 1Egocentric video 1Embodied Agents 1Embodied policy 1Empowerment MPC 1Endoscopic navigation 1Endovascular robotics 1Evaluating robot world models against real executions 1Event-camera VO 1Exoskeletons 1Failure recovery 1Federated 3D Perception 1Fisheye detection 1Floorplan SLAM 1Geometry-aware manipulation 1Grasping 1Grounding 1Humanoid Control 1Humanoid RL 1Humanoid Tool Use 1Humanoid control 1Humanoid loco-manipulation 1Humanoid safety 1Humanoid whole-body control 1Imitation Learning 1JEPA World Models 1Lab automation 1Laboratory Manipulation 1Latent World Models 1Legged Manipulation 1LiDAR Security 1Lifelong RL 1MAPF 1MAV guidance 1Manipulation LfD 1Manipulation Safety 1Marine simulation 1Memory-centric VLA 1Miniature Locomotion 1Mining Perception 1Mobile manipulation 1Model-based RL 1Monocular SSC 1Motion Planning 1Multi-Agent RL 1Multi-Robot Exploration 1Multi-Robot Manipulation 1Multi-UAV Exploration 1Multi-UAV State Estimation 1Multi-agent RL 1Multi-agent motion planning 1Multi-camera odometry 1Multi-fidelity RL 1Multi-robot manipulation 1Multi-skill Manipulation 1Multi-view perception 1Multimodal simulation 1Navigation & Mapping 1Object Pose Estimation 1Object Search 1Panoramic 3D Detection 1Panoramic segmentation 1Pedestrian tracking 1PersonNav 1Planning 1Policy 1Policy Optimization 1Preference Learning 1Quadruped locomotion 1Real-time VLA 1Real-to-sim 1Reinforcement learning for industrial assembly 1Representation alignment 1Robot-Use Agents 1Runtime Verification 1Safe Generative Planning 1Safe RL-MPC 1Safe VLA 1Safety monitoring 1Safety-critical control 1Sim-to-real Navigation 1Sim-to-real manipulation 1Simulation geometry 1Skill Discovery 1Social navigation 1Soft Pneumatic Actuators 1Soft manipulation 1Sonar SLAM 1Streaming 3D reconstruction 1Submovement decomposition 1Surgical 1Surgical robotics 1Tactile 1Tactile Exploration 1Tactile VLA 1Temporal manipulation 1Terrain traversability 1Text-to-3D Policy 1Tool Co-Design 1Trajectory Correction 1Traversability 1UAV Navigation 1UAV Swarms 1UAV traffic monitoring 1Underwater Robotics 1Underwater active mapping 1Underwater perception 1Unified world-action model 1VLA Conditioning 1VLA Defense 1VLA Robustness 1VLA evaluation 1VLA manipulation 1VLA robustness 1Video world models 1Visual Generalization 1Visual Grounding 1Visual Reward Models 1Visuomotor Fusion 1Visuotactile manipulation 1World Models 1World-Action Models 1
NiveauAlleEinstiegFortgeschrittenExperten
Noch nicht auf Deutsch verfügbar: Anzeige im englischen Original.
Gefiltert nach Technologie Vision-Language-Action-Modelle, zurücksetzen
arXiv
Evaluating robot world models against real executionsFortgeschritten

WorldOracle: Benchmark prüft Welt-Modelle gegen reale Roboterausführungen

Haoyi Duan, Liliang Chen, Nan Wang, Yang Zhang, Yuhang Lu, Xiaotong Chen, Wei-Cheng Tseng, Shenyuan Gao, Zhaoshuo Li, Jingyi Jin, Pooya Jannaty, Dhruv Shah, Yuke Zhu, Ming-Yu Liu, Maoqing Yao, Guanghui RenAgiBot; NVIDIA; Princeton University; University of Texas at Austin; University of Toronto

Forscher von AgiBot und NVIDIA stellen in einem Preprint einen Benchmark vor, der Welt-Modellen exakt die Aktionen eines realen Roboters eingibt und prüft, ob das vorhergesagte Video zeigt, was tatsächlich geschah, inklusive verfehlter Griffe und verschütteten Wassers. Alle sieben getesteten Modelle verloren über lange Zeiträume an Genauigkeit, und selbst das Modell mit der besten Armführung sagte das physische Ergebnis oft falsch voraus.

WeltmodelleRobotik-BasismodelleVLA
FoundationAgiBotNVIDIAPhysical Intelligence
Vollständige Studie lesen (PDF)
arXiv
VLA evaluationFortgeschritten

ManiPhysicsBench: Physikbasierte Bewertung der Objektschonung bei VLA-Manipulation

Sangwu Park, Yeonjun In, Wonjoong Kim, Sungwon Kim, Sein Kim, Chanyoung Park

Das Preprint stellt ManiPhysicsBench vor, ein Benchmark, das mit der Objektbibliothek ManiPhysicsZoo und einer löserbasierten Schadensbewertung prüft, ob VLA-Modelle Objekte beim Manipulieren erhalten. Öffentliche VLA-Checkpoints erreichen im Mittel nur 13,5 % Safe Success bei 48,3 % Task Success auf SimplerEnv; auf LIBERO liegen die Werte bei 1,9 % und 12,3 %. Damit zeigen gängige Modelle Aufgaben erfolgreich, greifen aber empfindliche Objekte oft mit Kräften, die Schäden verursachen würden.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLAFortgeschritten

MixVLA: Adaptives Mischen nicht-invarianter Information für generalisierbare Vision-Language-Action-Modelle

Pingrui Zhang, Yu Zhang, Pengyuan Wu, Bin Wang, Haoming Song, Xianqiang Gao, ZhaxiZhuoma, Zhigang Wang, Dong Wang, Bin Zhao, Xuelong Li

Das Paper stellt MixVLA vor, ein als Preprint veröffentlichtes, modellagnostisches Trainingsverfahren für Vision-Language-Action-Modelle. Es zerlegt latente Repräsentationen in invariante und nicht-invariante Anteile und regularisiert letztere durch adaptives Mischen, statt sie zu verwerfen. In Simulationen verbessert MixVLA die Zero-Shot-Erfolgsraten auf LIBERO-Plus um 6,6 Prozentpunkte gegenüber OpenVLA-OFT und auf RoboTwin 2.0 um 16,4 Prozentpunkte bei der Generalisierung auf randomisierte Umgebungen; im realen Versuch steigt die Erfolgsrate von 20 % auf 60 %.

VLA
Vollständige Studie lesen (PDF)
arXiv
Sim-to-real manipulationFortgeschritten

SARI: Phasensplittendes Sim-Real-Co-Training für kontaktintensive Manipulation

Xingxin He, Yuxuan Jiang, Haonan Zhang, Chuhan Cui, Kaile Li, Zhongxing Zheng, Caihao Xu, Ziqi Wang

SARI ist ein als Preprint veröffentlichter Ansatz, der kontaktintensive Manipulationsaufgaben in eine Annäherungs- und eine Kontaktphase zerlegt: Simulation liefert raumdeckende Annäherungsbahnen, reale Teleoperation nur wenige Kontaktinteraktionen. Auf fünf realen Aufgaben mit einem Franka-Roboter erreicht SARI bei ungesehenen Objektplatzierungen auf der Lamp-Aufgabe 27,5 % Erfolg, während alle Volltask-Baselines 0 % erreichen, und reduziert die reale Datenerfassungszeit um 34,3 %.

VLA
Vollständige Studie lesen (PDF)
arXiv
Multi-Robot ManipulationFortgeschritten

DuoMind: Verteilte Multi-Roboter-Koordination mit semantischer Kommunikation und Benchmark RoboPoly

Hanchu Zhou, Dechen Gao, Hang Wang, Brendan Lynch, Boqi Zhao, Qiyao Ma, Raman Goyal, Junshan Zhang

Der Preprint stellt DuoMind vor, ein verteiltes hierarchisches Framework, bei dem jede Robotereinheit einen VLM-Orchestrator mit einem VLA-Aktionsmodell kombiniert und strukturierte natürliche Sprache mit anderen Robotern austauscht. In Simulationen auf dem neuen RoboPoly-Benchmark und auf RoboTwin übertrifft DuoMind die Baselines in den meisten Aufgaben, etwa mit 78,00 % gegenüber 52,25 % bei Hang Bag. Der Ansatz zeigt, wie vortrainierte Modelle ohne Neuentwurf für kooperative Manipulation genutzt werden können.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLA ConditioningFortgeschritten

Kontinuierliche Konditionierung von VLA-Modellen mit EMG und visuellen Annotationen

Edward W. Staley, Connor O. Pyles, Rahul Hingorani, Frank Camargo, Griffin Milsap, Jared Markowitz, Matthew S. Fifer, Michael Wolmetz

In diesem Preprint werden zwei feinabgestimmte Vision-Language-Action-Modelle vorgestellt, die Aufgabeninformationen über kontinuierliche Signale statt über Sprache erhalten: EC-VLA nutzt 8-Kanal-EMG, VA-VLA visuelle Segmentierungsannotationen. Im Vergleich zu sprachbasierten Baselines verbessern sich die Erfolgsraten in unübersichtlichen Szenen von 0,30 auf 0,50 (EC-VLA) und von 0,11 auf 0,20 (VA-VLA). Die Ergebnisse deuten darauf hin, dass nicht-sprachliche Modalitäten für die Aufgabenkonditionierung von Roboterrichtlinien nützlich sein können.

VLA
Vollständige Studie lesen (PDF)
arXiv
VLA RobustnessFortgeschritten

Erfolgsrate allein genügt nicht: Verhaltensrobustheit von VLA-Modellen in Tabletop-Manipulation

Sophie Higham, Riccardo Andrea Izzo, Matteo Matteucci, Alessandro Suglia

Das Preprint schlägt ein benchmark-agnostisches Evaluierungsframework vor, das die Behavioural Robustness von Vision-Language-Action-Modellen über die Task Success Rate hinaus anhand von Trajektorienmetriken misst. Die Analyse auf LIBERO und LIBERO-Plus mit drei State-of-the-Art-Modellen zeigt, dass Eingabeperturbationen das Verhalten erfolgreicher Trajektorien erheblich verändern können, obwohl die TSR ähnlich bleibt. Das verdeutlicht, dass TSR allein die Auswirkungen von Störungen auf die Ausführungsqualität maskieren kann.

VLA
Vollständige Studie lesen (PDF)
arXiv
Manipulation SafetyFortgeschritten

Fünf Ellipsoide für mehr Sicherheit: Laufzeitfilter schützt VLA-Policies vor bewegten Hindernissen

Yatharth Agarwal, Vijay Raghunathan

Das Preprint stellt einen trainingsfreien Laufzeit-Sicherheitsfilter für vortrainierte Vision-Language-Action-Policies (VLA) vor, der Greifer, Handgelenk und Unterarm mit fünf Ellipsoiden absichert und ein aus RGB-D gefittetes Hindernisellipsoid per spärlichem optischem Fluss verfolgt. In sechs simulierten Bewegungsbedingungen senkt der Filter die Kollisionsrate von 65,62 % auf 27,27 % und hebt die sichere Aufgabenerfüllung von 29,35 % auf 50,43 %. Die Edge-Messungen zeigen Barrierelatenzen von 2,2 ms im 99. Perzentil und einen von 343 ms auf 177,3 ms verkürzten Policy-Aufruf; auf einem physischen SO-101-Arm reduziert der Filter Kontakte von 11 auf 3 von 16 Episoden.

VLA
Vollständige Studie lesen (PDF)
arXiv
Memory-centric VLAFortgeschritten

Optimus-R: Memory-centric Framework für Vision-Language-Action-Modelle

Zaijing Li, Rui Shao, Bing Hu, Haoyu Zhang, Dongmei Jiang, Liqiang Nie

Das Preprint stellt Optimus-R vor, ein memory-centric Framework zur Adaption von Vision-Language-Action-Modellen (VLA). Es führt eine Inline Memory Interface, eine Query-Skill Memory Bank und einen Bridge-and-Adapt-Mechanismus ein, um Roboterfähigkeiten als explizite Speichereinträge zu lernen und wiederzuverwenden. In Experimenten auf LIBERO, CALVIN und RoboTwin 2.0 verbessert Optimus-R die Dateneffizienz deutlich und erreicht im Cross-Domain-Transfer mit 20 Demonstrationen pro Aufgabe 33,3 % Erfolgsrate auf einem echten Roboter, 13,9 Prozentpunkte über der Baseline.

VLA
Vollständige Studie lesen (PDF)
arXiv
World-action modelFortgeschritten

Magic-W0: Ein strukturiertes World-Action-Foundation-Modell für physische Intelligenz

Xuhua Chen, Zhenhan Yin, Yuan Zhang, Lingfeng Zhang, He Zheng, Tong Mu, Shun Zuo, Dian Zhou, Di Wu, Xuan Zhou, Shaojie Wan, Rongtian Shen, Qiulong Xu, Yiduo Li, Yinglong Wang, Yanqian Wang, Kun Wang, Tao ZhangMagiclab Robotics Inc. (Magic-Lab Team)

Der Roboterhersteller MagicLab stellt in einem Preprint Magic-W0 vor, ein Robotermodell mit 3,4 Milliarden Parametern, das beim Wählen einer Aktion zugleich vorhersagt, wie sich die 3D-Szene bewegt und wie sie danach aussehen soll. In der Fassung vom 3. Oktober führt es die Rangliste von RoboDojo-Sim mit durchschnittlich 36,75 Punkten an, allerdings nur 0,48 Punkte vor dem Zweiten, und schlägt π0.5 von Physical Intelligence bei fünf Aufgaben auf echter Hardware mit 94,6 zu 91,8 Prozent.

WeltmodelleVLARobotik-BasismodelleImitationslernen
Physical IntelligenceMagicLabAgiBotNVIDIA
Vollständige Studie lesen (PDF)
arXiv
VLAFortgeschritten

ChunkTrust: Ausführungshorizonte von Roboter-Policies anhand von Signalen des Action-Experts anpassen

Fanding Huang, Jingyan Jiang, Shifeng Bao, Mingkang Pu, Shiwei Li, Jing Xu, Shijia Xu, Guanbo Huang, Chenghao Gu, Yuzhi Huang, Chenxin Li, Faisal Nadeem Khan, Huan Yang, Yan Wang, Cheng Chi, Zhi WangTsinghua University, Beijing Academy of Artificial Intelligence (BAAI), Renmin University of China, Shenzhen Technology University, Hefei University of Technology, Jiangnan University, Chongqing University, The Chinese University of Hong Kong

Roboter-KI-Modelle planen immer einen kurzen Block künftiger Bewegungen, und wie viele davon der Roboter ausführt, bevor er wieder hinschaut, legen Entwickler bislang meist starr fest. Dieser Preprint der Tsinghua-Universität, der Beijing Academy of Artificial Intelligence (BAAI) und weiterer Partner ergänzt ein Zusatzmodul, das diese Zahl im laufenden Betrieb wählt und die Erfolgsquoten vorhandener Modelle von Physical Intelligence und Nvidia in der Simulation und auf einem realen Zweiarmroboter ohne Nachtraining erhöht.

VLARobotik-BasismodelleImitationslernen
Physical IntelligenceNVIDIA
Vollständige Studie lesen (PDF)

Themenseiten

Manipulation 6VLA 4World Action Models 5World-action model 3Aerial manipulation 3Dexterous manipulation 3Sim-to-Real Manipulation 3Social Navigation 3

Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.