Batteriebewusstes Reinforcement Learning für aggressiven Quadrocopter-Flug
Der Preprint stellt eine RL-Policy für einen 38 g Crazyflie Brushless vor, die eine gefilterte Batteriespannung beobachtet und einen erweiterten Schubkommando-Bereich nutzt. Gegenüber der Standard-Autoritäts-Baseline sinkt der Trackingfehler beim Kreisen mit 3,84 m/s um 49,3 % (von 14,26 cm auf 7,23 cm RMSE), und die mittlere 20-Runden-Rennzeit fällt von 106,22 s auf 95,24 s. Das zeigt, dass explizite Spannungsinformation die vorhandene Firmware-Kompensation bei aggressivem Flug ergänzt.
Lässt sich die Flugleistung durch eine höhere Schubkommando-Autorität verbessern, und hilft eine beobachtete Batteriespannung der Policy, diese zusätzliche Autorität auszunutzen?
Die verfügbare Schubkraft eines Quadrocopters sinkt mit dem Ladezustand und unter Last durch Spannungseinbrüche. Konservative Kommandolimits machen diese Schwankungen beherrschbar, verschenken aber Leistung. Bestehende Flugregler kompensieren Spannungsänderungen nur teilweise; bei aggressiven Manövern können Motorsättigung und Spannungssag dazu führen, dass früh machbare Manöver später scheitern.
Bisherige RL-Ansätze für Drohnenrennen wie Swift simulieren Batterieeffekte im Training, geben der Policy aber keine explizite Spannungsinformation. DATT nutzt einen trainierten Tracker mit L1-Störschätzung, SkyDreamer ein rekurrentes Weltmodell zur Schätzung der erreichbaren Rotordrehzahl. Flugcontroller wie Betaflight und ArduPilot bieten Spannungskompensation, behandeln aber schnelle lastinduzierte Einbrüche nicht als Beobachtung für eine lernende Policy.
Die Autoren koppeln ein identifiziertes Lasttransienten-Batteriemodell an die Rotordynamik und die Firmware-Sättigung eines Crazyflie Brushless. Die Policy erhält eine mit 10 s gefilterte Batteriespannung als zusätzliche Eingabe, während der Schubkommando-Bereich von T_scale 0,8 N auf 1,0 N und die Firmware-Force-Scale von 0,20 N auf 0,25 N angehoben wird. Das Training erfolgt mit PPO in Isaac Lab und umfasst Domänen-Randomisierung; ein privilegierter Critic sieht Batteriezustände nur im Training. Die Policy kommandiert weiterhin kollektiven Schub und Raten über den vorhandenen Controller, dessen Spannungskompensation und Desaturation simuliert werden.
Hardware auf Crazyflie Brushless (38 g): Im Kreis-Tracking über 50 Flüge erreicht High-V bei 3,84 m/s einen RMSE von 7,23 cm, gegenüber 14,26 cm für Stock (49,3 % niedriger) und 8,53 cm für High (15,3 % niedriger). Bei 3,36 m/s liegen alle Verfahren bei etwa 4 cm mittlerem Fehler. Im Rennen über 20 Runden: High-V 95,24 s, High 99,76 s, Stock 106,22 s; High-V ist 4,5 % schneller als High. Die mittlere Spitzengeschwindigkeit pro Langstreckenflug beträgt 6,95 m/s für High-V und 6,08 m/s für Stock. In Simulation führt eine falsche Spannungsaufzeichnung bei 4,20 V Batterie zu deutlich schlechterem Kreis-Tracking; im Rennen erhöht eine falsche Spannung bei 3,70 V die Rundenzeit um 1,84 %. Ein privilegierter Critic verbessert die Leistung aller High-Varianten, Stock regrediert.
Die Autoren nennen als offene Punkte die fehlende Kombination mit Bewegungsverlaufs-Adaption und die Erweiterung auf Strom- und Leistungsvorhersage. Die Simulation unterschätzt den Trackingfehler; mögliche Ursachen sind Schätzfehler, Controller-Historie und momentabhängige Effekte. Die Validierung erfolgt nur auf einer kleinen Plattform (Crazyflie Brushless, 38 g) in einem 4,8 x 4,0 m großen Motion-Capture-Bereich; Rennstrecken sind dadurch kurz und wendungsreich. Das Batteriemodell wurde auf gehaltenen Flügen identifiziert, die Modellstruktur während dieser Kampagne gewählt; es gibt keinen Stromsensor. Die Arbeit ist ein Preprint und nicht begutachtet; eine Code-Veröffentlichung wird im Paper nicht berichtet.
Die Methode könnte in aggressiven Fluganwendungen wie Drohnenrennen, schneller Inspektion oder autonomer Lieferung eingesetzt werden, sobald sie auf größere Plattformen übertragen und um Energieverbrauchsvorhersage ergänzt wird. Kurzfristig (1 bis 3 Jahre) sind Anwendungen in Forschungs- und Renn-Drohnen denkbar; für kommerzielle Flotten ist die Robustheit unter realen Missionsbedingungen und auf größeren Systemen zu validieren.
Der Volltext wird hier nicht wiedergegeben, weil die Lizenz der Studie das nicht erlaubt. Das Original steht auf arXiv.