EF-GAIfO、ロボット自身の経験からデモの実現可能性を推定し、実機四足ロボットで物体把持に成功

ロボットと身体構造が異なる人間の状態デモから、ロボット自身の経験に基づいて実行可能な遷移を識別し、模倣学習の性能を向上できるか。

ロボットフリーのデモインターフェースで収集した人間の動作は状態のみで行動ラベルがなく、身体構造や動力学の違いによりロボットでは再現できない遷移が含まれる。このようなデモをそのままImitation from Observationに使うと、ロボットが転倒したりタスク性能が低下する恐れがある。既存のモデルベース手法は正確な動力学モデルの構築が難しく、事前の探索データや信頼度ラベルが必要な場合もある。

従来は、明示的または学習済みのロボット動力学モデルを用いてデモ動作の実行可能性を評価する手法があった。また、不完全デモに対する重み付けとしてWGAILをGAIfOに適応したWGAIfOなども存在する。しかし、全身動力学の強い結合や接触・バランス制約により正確なモデル構築は容易でなく、信頼度ラベルや事前のロボット実行データが必要な手法もあった。

EF-GAIfOは、ポリシー学習中にロボットが実際に生成した状態遷移を経験データとして収集し、その経験から状態遷移再構成モデル（変分オートエンコーダ）を学習する。デモの遷移に対する再構成誤差を実現可能性重みに変換し、判別器の目的関数に重み付きデモ項として組み込む。これにより、ロボットが経験した領域に近い遷移ほど高い重みが付与され、実行不可能なデモの影響が抑えられる。閾値はデモの再構成誤差のパーセンタイルに基づき学習中に徐々に変化させ、実現可能性の概念がポリシー学習とともに拡大する。

点質量環境（2次元、速度制限あり）では、マルチスピード設定でEF-GAIfOの成功率90.0±30.0%、WGAIfO 20.0±44.7%、GAIfO 15.0±35.7%、Hausdorff距離は0.884±1.72、2.629±2.694、4.877±2.396。マルチパス設定では、EF-GAIfO 100.0±0.0%、WGAIfO 20.0±41.0%、GAIfO 50.0±50.0%、Hausdorff距離0.163±0.075、1.742±2.343、2.828±2.57。20シード、各10エピソードの計200試行。四足ロボット（Unitree Go2、Isaac Sim）の物体到達把持タスクでは、固定ターゲット3箇所とランダムターゲットでEF-GAIfOが83.6±9.2%、88.0±5.7%、84.8±10.0%、85.8±7.4%と、WGAIfO（34.8±47.7%、35.2±47.8%、39.0±48.8%、26.4±44.1%）やGAIfO（37.4±14.2%、36.8±8.1%、42.0±17.6%、35.4±18.1%）を上回った。5ポリシー、各100試行。実機実験では各設定10試行で、EF-GAIfOがターゲット1で70%、ターゲット2で70%、ターゲット3で80%、ランダムターゲットで80%に対し、WGAIfOは10%、10%、10%、30%、GAIfOは10%、10%、20%、20%だった。

著者らは、EF-GAIfOの実現可能性推定はロボットが経験した状態遷移に基づくため、主に身体構造に関わる実行可能性を捉えると述べている。地形、障害物、物体配置、接触条件といった環境依存の実行可能性は扱えておらず、今後の課題としている。また、学習はシミュレーションで行われており、実機評価は各設定10試行と小規模である。コードやデータの公開については論文では報告されていない。実機での再学習や多様なロボット・タスクでの検証も行われていない。