ロボティクスとフィジカルAIの最新論文と、それぞれが産業にもたらす意味。
Reinforcement Learning (RL) substantially improves planning performance in autonomous-driving Vision-Language-Action (VLA) models. However, existing RL methods rely on scalar trajectory rewards that measure overall quality but fail to identify specific planning errors or provide actionable correction signals.
Existing real-world reinforcement learning methods improve robot policies by combining human corrections with autonomous rollouts. However, accumulated experience varies in its value for policy improvement, and even successful trajectories can contain inefficient or redundant behavior, motivating more selective experience reuse.
Generalist robot policies are trained with imitation learning and are bounded by the quality and coverage of their demonstrations. Reinforcement learning can improve and extend them, either by fine-tuning the policy weights or by training a small module to steer the input noise of a frozen generative policy.
Multi-agent reinforcement learning (MARL) has become a prominent research direction, particularly within collective robotics, where the ARGoS simulator is widely used to study emergent swarm behavior. Yet despite this growth, systematic support for reuse and reproducibility in MARL-based swarm robotics remains limited and insufficiently standardized: a single experiment is assembled from manually aligned simulator files, training scripts, configuration values, paths, seeds, and environment details, so reuse and reproduction stay fragile even within one research group.
arXivプレプリントである。UniIntervene++はオンライン強化学習中に自律実行と軌道修正およびCodePolicyの間で制御を割り当てる介入エージェントを学習する。5つの実世界操作タスクで平均成功率89.67%、人手介入率0.77%を達成し、最良ベースラインより成功率6ポイント高く、人手介入を相対94.6%削減した。
ETH Zürichらの研究チームは、報酬が疎なゴール条件付き強化学習向けに、開始状態とゴールを双方向から拡張するカリキュラムBVERを開発した。シミュレーションの迷路、四足ロボットの箱登り、ロボットアームのリング移動で、参照軌道を使わない既存カリキュラムより速く学習し、0.7mの箱登りは参照なし手法で唯一成功した。本論文はプレプリントであり、査読済みとは報告されていない。
VIGORは、TD-MPC2を基盤に、非対称な弱から強へのデータ拡張、ダイナミクスレベルの一貫性損失、エンコーダ安定化を組み合わせたモデルベース強化学習フレームワークである。DeepMind Control SuiteとRobosuiteのゼロショット視覚汎化評価で、既存のモデルフリー手法とモデルベース手法を上回り、二番手のSRMと比べて平均エピソード報酬でDMCは3.4%、Robosuiteは43.6%高い結果を報告した。本論文はプレプリントであり、査読済みではない。
英Loughborough大学などの研究チームは、生涯強化学習向けにオンラインのタスク類似度から過去のポリシーマスクを選び重み付けして再利用するAMSCを提案した。CT28とMG16でAUC/FWTが0.94/0.94、0.73/0.54を達成し忘却はゼロだった一方、CW10では学習済みの層別重みに劣り、層共通の重み付けには限界が見えた。本論文は査読前のプレプリントである。
SCOUTはフローマッチングの行動事前分布と分解価値関数を組み合わせ、テスト時にStein変分勾配降下で行動候補を高価値領域へ輸送するオフライン多エージェント強化学習フレームワークである。SMACv1では平均報酬16.1、MA-MuJoCoでは平均正規化スコア82.12を達成し、連続・離散のオフラインMARLベンチマークで最高平均性能、オフラインからオンラインへの全構成で改善を示した。本論文はプレプリントである。
PROMOは、追従、安定性、エネルギー効率の3つの意味的目標を実行時の選好ベクトルで切り替えられる四足歩行ロボット用の強化学習フレームワークである。本論文はプレプリントであり、査読済み採録は報告されていない。シミュレーションでは100の選好で平均選好と目標の相関が0.843、実機のUnitree Go2ではゼロショット転送後に選好変更のみでエネルギー消費を最大30.4%、位置誤差を最大38.7%、姿勢偏差を最大59.0%削減した。
ReCoは、脚型ロボットの移動ポリシーに一貫した指令応答を学習させ、同定した閉ループ応答モデルを組み込んだPolicy-Aware MPCで移動指令とアーム動作を同時計画するフレームワークである。シミュレーションの不整地ベンチマークでは位置RMSEを0.135m、姿勢RMSEを23.8度に抑え、最良ベースライン比でそれぞれ28.7%と27.4%削減した。本論文はプレプリントであり、査読済みではない。
中国の研究チームが開発したColoACTは、RGB画像に相対深度と勾配ベースの疑似標高マップを加えたAction Chunking Transformer方策を自走式内視鏡ロボットBGERに統合した。摘出ブタ大腸約60cmの未見環境で直線部85.4%、湾曲部72.5%、90度ターン70%、二連屈曲60%の成功率を得た。これはプレプリントであり、弱テクスチャ下でも滑らかな連続制御を実証した点で内視鏡自律ナビゲーションの前進である。
本論文はプレプリントである。FERPOは、学習した批評家の行動微分を使わず、価値のみから方策改善を行うオンライン最大エントロピー強化学習手法である。転がり出し方策からサンプルした行動を自己正規化重点サンプリングで重み付けし、前方KLで正則化目標分布にフィットする。DMCとManiSkillでREPPO並みの最終性能を示し、サンプル効率と更新時間で優位を報告した。
本論文はプレプリントである。MFPG-PPOは、高忠実度（HF）データが乏しいオン方策強化学習を安定化する手法で、低忠実度（LF）シミュレータデータを制御変量として利用する。GPU並列シミュレーションと実Frankaアームで評価し、HFデータのみのPPOをほぼ全ての設定で上回り、実ロボットでは1更新あたり4エピソードのみで成功率91.7%を達成した。
触覚フィードバックの予測不確実性に重みを置く探索フレームワークTacExを開発した。シミュレーションで報酬なし探索から物体把持を創発し、収集データがオフラインのピックアンドプレース方策学習を支え、凍結VLAモデルの後学習もサンプル効率よく改善した。本論文はarXivプレプリントである。
GroundingPIは、点とボックスを量子化座標として出力する4Bパラメータの視覚グラウンディング基盤モデルである。34件のグラウンディングベンチマークで平均73.68%を達成し、より大規模なGPT-6 Astraの71.54%を上回った。ロボット操作と自動運転の下流タスクで既存バックボーンを上回る転移性能を示し、物理的知能のための知覚基盤として有望である。本論文はarXivのみで公開されたプレプリントである。
強化学習で訓練したアクタークリティックとセンサ予測モデルをPAC-NMPCに統合し、未知環境での知覚ベース航法に有限時間の確率的衝突回避保証を与える手法を提案した。固定翼機の実機実験では成功率80パーセントを達成し、RL単独方策や地図とA*を用いるPAC-NMPCの40パーセントを上回った。本論文はarXivプレプリントであり、査読済みではない。
本論文は査読前のプレプリントである。研究チームは、バッテリー放電と負荷による電圧サグを模擬する同定済み負荷過渡モデルを強化学習シミュレータに統合し、フィルタ済み端子電圧を方策へ明示的に入力することで、攻撃的クアッドコプター飛行の性能を向上させた。ハードウェア実験では、3.84m/sの円追従RMSEがStock（既定推力指令制限）比49%低減し、20周レース時間は106.22秒から95.24秒に短縮した。
Constrained Reinforcement Learning has recently gained increasing attention in the field of Safe Autonomous Driving, where the general mechanism is to maximize the expected reward while keeping the overall action risk bounded. In this way, the safety issues arising in AD can be mitigated through constrained actions.
RL policies trained in GPU simulation transfer zero-shot to a commodity humanoid on rough terrain.
論文は arXiv のロボティクス分野から取得しています。当社の要約が未作成の場合は、要旨の冒頭を表示します。