Neue Studien zu Robotik und Physical AI, jeweils mit ihrer Bedeutung für die Branche.
Reinforcement Learning (RL) substantially improves planning performance in autonomous-driving Vision-Language-Action (VLA) models. However, existing RL methods rely on scalar trajectory rewards that measure overall quality but fail to identify specific planning errors or provide actionable correction signals.
Existing real-world reinforcement learning methods improve robot policies by combining human corrections with autonomous rollouts. However, accumulated experience varies in its value for policy improvement, and even successful trajectories can contain inefficient or redundant behavior, motivating more selective experience reuse.
Generalist robot policies are trained with imitation learning and are bounded by the quality and coverage of their demonstrations. Reinforcement learning can improve and extend them, either by fine-tuning the policy weights or by training a small module to steer the input noise of a frozen generative policy.
Multi-agent reinforcement learning (MARL) has become a prominent research direction, particularly within collective robotics, where the ARGoS simulator is widely used to study emergent swarm behavior. Yet despite this growth, systematic support for reuse and reproducibility in MARL-based swarm robotics remains limited and insufficiently standardized: a single experiment is assembled from manually aligned simulator files, training scripts, configuration values, paths, seeds, and environment details, so reuse and reproduction stay fragile even within one research group.
Das Paper beschreibt UniIntervene++, einen als Preprint veröffentlichten adaptiven Interventionsagenten, der während des Online-Reinforcement-Learning zwischen autonomer Roboterpolitik, Trajektorienkorrektur und einer task-strukturierten CodePolicy wählt. In fünf realen Manipulationsaufgaben erreicht das Verfahren eine mittlere Erfolgsrate von 89,67 Prozent und reduziert die menschliche Interventionsquote auf 0,77 Prozent. Damit übertrifft es die beste Baseline um 6 Prozentpunkte bei mindestens 94,6 Prozent weniger menschlichen Eingriffen.
Die Autoren präsentieren mit BVER ein Curriculum-Verfahren für spärlich belohntes Goal-Conditioned Reinforcement Learning, das Startzustände rückwärts vom Ziel und Zwischenziele vorwärts von der Startverteilung expandiert und beide Frontiers über eine Voronoi-Verzerrung und einen Connect-Schritt aufeinander zuführt. In sechs simulierten Aufgaben lernt BVER schneller als alle verglichenen referenzfreien Curricula; beim Klettern auf eine 0,4 m hohe Box erreicht es 95 % Erfolg mit rund 65 % weniger Iterationen als die beste Baseline und schafft als einziges referenzfreies Verfahren auch die 0,7 m hohe Box. Das Paper ist ein Preprint und wird nicht als begutachtet dargestellt.
VIGOR ist ein Preprint-Framework für modellbasiertes Reinforcement Learning, das mit asymmetrischer Weak-to-Strong-Augmentierung, Dynamics-Level-Konsistenz und Encoder-Stabilisierung die Zero-Shot-Generalisierung unter visuellen Störungen verbessert. Auf DeepMind Control Suite übertrifft es die zweitbeste Baseline um 3,4 Prozent, auf Robosuite um 43,6 Prozent, bei erhaltener Sample-Effizienz des TD-MPC2-Backbones. Damit adressiert es eine strukturelle Schwäche latenter Weltmodelle, bei der Störungen über rekursive Rollouts kumulieren.
In dem Preprint wird AMSC vorgestellt, ein Verfahren für lebenslanges Reinforcement Learning, das mithilfe von Online-Task-Ähnlichkeit relevante frühere Policymasken auswählt und gewichtet. Auf den Benchmarks CT28 und MG16 erzielt AMSC hohe mittlere Performance und Forward Transfer ohne Vergessen und übertrifft modulare Kompositions-Baselines. Die Ergebnisse deuten darauf hin, dass Task-Ähnlichkeit eine wirksame Grundlage für selektive Wiederverwendung sein kann.
SCOUT ist ein Preprint-Framework für Offline-Multi-Agenten-Reinforcement-Learning, das einen flow-matching-basierten Verhaltensprior mit einer additiv zerlegten Q-Funktion kombiniert. Zur Testzeit transportiert jeder Agent Aktionspartikel per Stein Variational Gradient Descent in hochwertige Regionen und wählt anschließend die beste Aktion aus. Auf SMACv1 und MA-MuJoCo erreicht SCOUT die höchsten Durchschnittswerte (16,1 bzw. 82,12) und übertrifft in allen Offline-zu-Online-Konfigurationen MAC-Flow.
PROMO ist ein Preprint-Framework für semantisches präferenzkonditioniertes Multi-Objective-Reinforcement-Learning. Eine einzelne Richtlinie macht die Abwägung zwischen Kommandotreue, Stabilität und Energieeffizienz zur Laufzeiteingabe und trennt diese von festen lokomotionsspezifischen Prioritäten. In Simulation werden über 100 Präferenzen 67 nichtdominierte Verhalten erreicht und eine mittlere Präferenz-Objektiv-Korrelation von 0,843 gemessen; auf einem Unitree Go2 senkt allein die Präferenzänderung die spezifische Energie um bis zu 30,4 Prozent, den Positionsfehler um bis zu 38,7 Prozent und die maximale Körperlageabweichung um bis zu 59,0 Prozent.
Das Preprint stellt ReCo vor, ein Framework, das eine gelernte Lokomotionsrichtlinie mit einer modellprädiktiven Regelung koppelt, um Endeffektor-Trajektorien während des Laufens im Weltkoordinatensystem zu verfolgen. Die Richtlinie wird durch Response Shaping darauf trainiert, auf Kommandos konsistent und wiederholbar zu antworten, und ein identifiziertes Closed-Loop-Antwortmodell mit gangperiodischen Anteilen dient der MPC als prädiktive Schnittstelle. In einer MuJoCo-Simulation erreicht ReCo eine um 28,7 % niedrigere Positions-RMSE und eine um 27,4 % niedrigere Orientierungs-RMSE als die jeweils beste Baseline und läuft auf der realen Go2-X5-Plattform vollständig onboard.
Das Paper stellt ColoACT vor, ein autonomes Navigationssystem für den kompakten selbstfahrenden Endoskopieroboter BGER. Es kombiniert RGB, relative Tiefe und eine gradientenbasierte Pseudo-Elevationskarte mit einer Action-Chunking-Transformer-Policy und Temporal Ensembling. In Ex-vivo-Schweinekolons erreicht das System Erfolgsraten von 85,4 % in geraden und 72,5 % in gekrümmten Abschnitten; die Arbeit ist ein Preprint auf arXiv und nicht begutachtet.
FERPO ist ein On-Policy-Maximum-Entropie-Verfahren, das die Policy verbessert, indem es eine entropie- und KL-regularisierte Zielverteilung über Kritikerwerte aufbaut und den Akteur per Forward-KL mit Self-Normalized Importance Sampling daran anpasst, ohne den Kritiker nach Aktionen zu differenzieren. Das Paper ist ein Preprint und berichtet in Simulationen auf DMC, MuJoCo Playground und ManiSkill wettbewerbsfähige Endleistungen, Stichprobeneffizienz sowie 6,9 Prozent schnellere kombinierte Update-Zeit gegenüber REPPO bei K gleich 16. Damit entsteht eine praktische Alternative zu pfadweisen Aktualisierungen für massiv paralleles Robotiklernen.
Die Autoren stellen mit MFPG-PPO eine Erweiterung proximaler Policy-Optimierung vor, die wenige hochgenaue Trainingsdaten mit zahlreichen verzerrten Niedrigpräzisionsdaten kombiniert, ohne den Policy-Gradienten zu verzerren. In Tests auf vier simulierten Laufaufgaben verbessert MFPG-PPO die reine Hochpräzisions-PPO-Baseline in 14 von 16 Szenarien und erreicht auf einem realen Franka-Arm mit nur vier Episoden pro Update eine Erfolgsrate von 91,7 Prozent gegenüber 55,0 Prozent. Der noch unbegutachtete Preprint zeigt damit einen Weg, knappe Realdaten für On-Policy-Reinforcement-Learning nutzbar zu machen.
Das Paper stellt TacEx vor, ein Framework, das taktile Unsicherheit als Explorationssignal für Reinforcement Learning nutzt. In Simulationen lernt ein Roboter ohne Aufgabenbelohnungen Greifverhalten, und die gesammelten kontaktintensiven Daten verbessern offline trainierte Pick-and-Place-Policies sowie das Post-Training von Vision-Language-Action-Modellen. Die Arbeit ist ein Preprint und nicht begutachtet.
In einem Preprint wird GroundingPI vorgestellt, ein 4-Milliarden-Parameter-Grounding-Foundation-Model, das Punkte und Boxen als quantisierte Koordinaten in einem gemeinsamen Vokabular erzeugt. Über 34 Grounding-Benchmarks mit 44 Baseline-Vergleichen erreicht das Modell einen Durchschnitt von 73,68 % und liegt damit vor dem größeren GPT-6 Astra mit 71,54 %. Als Perzeptionsbackbone verbessert es Robotermanipulation und autonomes Fahren, etwa mit bis zu 24,8 % relativem Vorteil im RoboTwin-2.0-OOD-Setting.
Das Preprint beschreibt eine Methode, die stochastische modellprädiktive Regelung (PAC-NMPC) mit durch Reinforcement Learning trainierten Actor-Critic- und Sensorprädiktionsmodellen kombiniert, um in unbekannten Umgebungen mit lokaler Wahrnehmung probabilistisch sicher zu navigieren. In Simulation und Hardwareversuchen auf einem Fixed-Wing-UAV erreicht der Ansatz höhere Erfolgsraten als die Einzelkomponenten und Baselines, in der Simulation 90 Prozent, in Hardware 80 Prozent. Er verbessert damit die Sicherheit von RL-Policies und die Langzeitleistung von NMPC durch statistische Garantien.
Der Preprint stellt eine RL-Policy für einen 38 g Crazyflie Brushless vor, die eine gefilterte Batteriespannung beobachtet und einen erweiterten Schubkommando-Bereich nutzt. Gegenüber der Standard-Autoritäts-Baseline sinkt der Trackingfehler beim Kreisen mit 3,84 m/s um 49,3 % (von 14,26 cm auf 7,23 cm RMSE), und die mittlere 20-Runden-Rennzeit fällt von 106,22 s auf 95,24 s. Das zeigt, dass explizite Spannungsinformation die vorhandene Firmware-Kompensation bei aggressivem Flug ergänzt.
Constrained Reinforcement Learning has recently gained increasing attention in the field of Safe Autonomous Driving, where the general mechanism is to maximize the expected reward while keeping the overall action risk bounded. In this way, the safety issues arising in AD can be mitigated through constrained actions.
RL policies trained in GPU simulation transfer zero-shot to a commodity humanoid on rough terrain.
Die Studien stammen aus den Robotik-Feeds von arXiv. Solange unsere Zusammenfassung fehlt, erscheinen die ersten Zeilen des Abstracts.