Diffeomorphic Hidden-State Steering：専門家デモの隠れ状態の幾何で模倣学習ロボット方策の頑健性を高める

追加デモも報酬信号も重みの変更もなしに、元の専門家デモだけで学習済み模倣学習方策の閉ループ実行を頑健にできるか。

観測や動作の小さな誤差が模倣学習方策をデモにない状態へ押し出し、誤差が積み重なって作業が失敗する。DAgger型の専門家による再ラベル付け、回復デモ、強化学習による微調整といった従来の対策は、いずれも元データの外の情報を必要とし、生産現場ではコストが大きい。

従来の隠れ状態補正は、補正モジュールを方策と一緒に学習するか、成功と失敗の実行から誘導フィルタを当てはめるものだった。専門家の隠れ状態に線形フィルタ（PCA）を当てはめ分散の小さい方向を抑える単純な方法もあるが、固定した方向では領域ごとに向きが変わる構造に追従できない。指数加重移動平均などの動作平滑化は揺れを抑えるが、内部状態は直さない。

DHSはデモを固定した方策に再入力し、ある層の隠れ状態を集める。著者は専門家の変動が少数の次元に集中する一方（Square課題では主成分29個で分散の90%を説明）、クラスタごとに向きが異なることを確認した。そこでDHSはこれらの隠れ状態から可逆な非線形座標変換（チャート）を学習する。実行時には現在の隠れ状態をチャート座標に移し、専門家の分散が小さい座標ほど強く縮め、すべての座標を残したうえで元の空間に戻し、残りの層が動作を出力する。誘導の強さは一つのパラメータで調整する。

RobomimicのSquare、Transport、CanとMimicGenのCoffee-D1で、課題ごとに同じ固定BC-Transformerを使い条件あたり300エピソード（シード3つ×100回）を実行した。ノイズ下の成功率はSquareが39.7%から51.7%、Transportが37.3%から41.0%、Canが55.3%から61.7%、Coffee-D1が67.0%から73.0%に上がった。動作平滑化と併用するとSquareは57.7%から61.7%、Transportは56.3%から62.0%になった。同じ29座標を残す比較では学習したチャートがノイズ下で48.7%とPCAの21.7%を大きく上回り、512座標をすべて残す比較でも50.3%対44.0%だった。Squareのノイズ実行では分散の小さい部分の中央値ノルムが8.49から0.95に縮み、分散の大きい部分はほぼ変わらなかった（コサイン類似度0.9989）。誘導強度0.1〜1.0で成功率は48.0〜53.3%を保った。

実験はすべてシミュレーションで、低次元の状態入力、一つの方策構造、一つの介入層に限られる。ノイズなしのTransportでは成功率が45.0%から36.0%に下がり、DHSに平滑化を加えるとCanとCoffee-D1のノイズ下成功率が下がった。強度は課題ごとに調整が必要で、ハイパーパラメータ探索で決めた。状態の時間的な推移はモデル化しておらず、専門家らしく見えても現在の作業段階には不適切な状態があり得る。単著のプレプリントで、実機検証はない。