AFTER-WM、速い補正と持続する記憶で動力学変化に対応
プレプリントは、減衰する速い補正と保持される遅い補正、予測誤差に基づくエキスパートの重み調整を組み合わせた世界モデルAFTER-WMを提案した。5つのシミュレーションデータセットで多段階平均予測誤差を各最強ベースライン比16.4%から33.7%低減し、荷重変化やアクチュエータ故障後の計画精度を高める可能性を示した。
持続する動力学変化への即応、一時的な外乱への安定性、追加観測のない予測中の適応保持を、世界モデルで両立できるかが研究の問いである。
未知の荷重、摩擦の変化、アクチュエータの故障によって、学習済みの動力学と実際の挙動が食い違う。観測なしで予測結果を次の入力に使うと誤差が蓄積し、行動計画を誤らせる。適応を速めると短い衝撃を持続的な変化と誤認しやすく、補正を早く消すと必要な適応まで失う。
TD-MPC2は動力学変化を捉える専用機構を持たず、DreamerV3-style RSSMも再帰状態の更新だけでは明示的な動力学適応が不足する。GrBALとMOLeはモデルのパラメータを更新し、ReBALは直近の履歴を利用するが、単一の適応時間尺度では即応性と安定性が競合する。MTS3は速い変数と遅い変数を分けるものの、遅い変数の更新間隔が固定され、変化への対応が遅れる。
AFTER-WMは事前学習したMLP動力学エキスパート3個を使う。エキスパートとルーターを先に学習して固定し、その後に補正ネットワークと記憶更新ネットワークを学習する。推論時は勾配更新を行わず、観測した予測誤差から重み、減衰する速い状態、不確実性を考慮する遅い状態を更新する。予測のたびに記憶を初期化し、64ステップの文脈から再構成する。40ステップ(2 s)の予測中は重みと遅い状態を固定し、速い状態だけを減衰させる。比較したニューラルモデルのパラメータ数は約0.70Mである。
MuJoCoの5データセットで、学習シード5個を用いて10ベースラインと比較した。多段階平均nMSEは、JSHCが0.124でReBALの0.166比25.7%減、ESCP-HCが0.208でReBALの0.249比16.4%減であった。Pandaは0.0473でMOLeの0.0711比33.5%減、UR5eは0.0435でReBALの0.0641比32.1%減、Hopperは0.0499でMOLeの0.0752比33.7%減であった。指標は学習データで標準化した状態を使い、第1、5、10、20、40ステップまでの累積平均誤差をさらに平均する。第40ステップの誤差も同じ比較対象より21.9%から41.9%低かった。実際のUAV飛行記録ALFAではシード4個で予測を評価し、最も近いMOLeより誤差が13.1%低かった。JSHCの関節故障制御シミュレーションでは、共通のcross-entropy-method計画器を使い、シード5個と試験エピソード48個で評価した。平均リターンは93.1で、MOLeを13.8上回った。
閉ループ制御の検証は、シミュレーション内の関節故障課題1種類に限られる。実環境の評価は固定翼UAVの飛行記録による予測であり、実時間の制御実験ではない。入力は画像ではなく数値状態で、画像観測と実機ロボットへの適用は今後の課題である。各予測の記憶は有限の文脈から作り直すため、確認された保持能力は予測区間内のものであり、無期限のオンライン学習を実証してはいない。コードとデータの公開は予告されているが、公開済みとは確認できない。推論遅延と計算コストは論文では報告されていない。
ロボットアームのシステム構築企業、適応制御の供給企業、UAV自律飛行の開発企業は、状態推定値と行動履歴を取得できる研究用計画システムで現在この方式を評価できる。製品への採用には、実ハードウェアでの閉ループ制御検証、信頼できる状態観測、許容できる実行コストが必要である。商用導入の時期は論文では報告されていない。
この論文はライセンス上、全文を転載できないため、要約と原文へのリンクのみを掲載しています。