Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.
Egocentric human videos offer a scalable alternative to robot teleoperation for collecting dexterous manipulation data. However, two challenges limit their use as reliable training data: accurate hand-object interaction (HOI) reconstruction from monocular RGB and high-quality robot demonstrations, especially visual observations.
Automating biological laboratories requires robots to perform dexterous tool interactions under realistic visual conditions while handling dynamic experimental phenomena, presenting significant challenges for robotic manipulation. To enable systematic evaluation under these conditions, we introduce AutoBio+, a simulation benchmark and framework for dexterous manipulation in realistic biological laboratory environments.
Collecting dexterous manipulation demonstrations for each robot hand requires repeated task-specific data acquisition. We ask whether one shared corpus of natural human demonstrations can instead serve as a reusable data interface for different dexterous hands, without collecting task demonstrations on each target robot.
Actions specify what a robot should execute, but do not describe what those commands will achieve. Vision-language-action (VLA) policies nevertheless learn primarily by predicting action chunks from images, language, and state.
PointWAM ist ein Preprint, das die Welt in Szene und Hände zerlegt und beide als 3D-Punkttrajektorien in einem gemeinsamen Raum-Zeit-Koordinatensystem vorhersagt. Auf zehn DexJoCo-Aufgaben erreicht das Modell 69,0 Prozent Erfolgsrate und übertrifft die stärkste Baseline um 11,7 Prozentpunkte; Vortraining auf 1,15 Millionen menschlichen Demonstrationsvideos liefert einen Gewinn von 56,9 Prozentpunkten gegenüber Training von Grund auf. Damit zeigt der Ansatz, dass gemeinsame 3D-Weltmodellierung und menschenbasiertes Vortraining geschickte Manipulation deutlich verbessern können.
FlashDexRetarget ist ein als Preprint veröffentlichter RL-Ansatz, der menschliche Hand-Objekt-Demonstrationen mit einer einzigen referenzkonditionierten Policy gemeinsam auf Roboterhände überträgt. Auf einem Benchmark aus 50 Bewegungen erreicht das Framework mit XHand 90 Prozent Erfolg nach dem SPIDER-Kriterium bei 29 GPU-Stunden, während CHORD 46 Prozent bei 2.847 GPU-Stunden erreicht. Damit amortisiert es die Retargeting-Kosten über viele Demonstrationen und erzeugt physisch plausible Roboterdaten für das Training geschickter Manipulation.
Das Preprint stellt Direct Experience World-Model Optimization (DEWO) vor, ein Post-Deployment-Lernverfahren für World-Action Models, das neben Aktionsimitation auch visuelle Vorhersagen aus beobachteten Interaktionsverläufen aktualisiert. In fünf DexJoCo-Aufgaben verbessert DEWO den durchschnittlichen Erfolg über alle drei getesteten WAM-Formulierungen; auf echten Roboterplattformen steigt der Erfolg in Zellen mit mindestens einem anfänglichen Erfolg von 51,0 % auf 71,7 %. Damit wird Weltmodellierung zu einem aktiven Teil der Anpassung nach dem Einsatz.
Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.