AutoRSR：実作業空間のスキャンからシミュレーション学習データを自動生成するReal-to-Sim-to-Real手法

スキャンした実作業空間を、ほぼ人手なしで実寸に合ったシミュレーションと大規模な操作データセットに変換でき、そのデータで学習した方策が実機で機能するか。

遠隔操作による教示は質が高いが、オペレーターとロボットの時間を要する。シミュレーションは1件当たりの費用は安いが、実際のセルをシミュレーションに移すには、物体モデルの切り出し、メッシュの整理、ロボット基準座標への校正、軌道作成に人手がかかる。

Real2Render2RealやGASEなどのReal-to-Sim手法はガウシアンスプラッティングなどで場面を再構成するが、著者の比較によれば分割、シミュレーションへの資産登録、ロボットとの位置合わせに依然人手が要る。

AutoRSRはスマホのスキャンと、ロボットの状態から姿勢が分かる手首カメラ2台を組み合わせ、自由語彙のテキスト問い合わせで物体を一つずつ切り出す。再構成結果を実寸でロボット基準座標に自動で位置合わせし、課題ごとに短い参照動作を一つシミュレーションで再生、軌道補間と視覚的ドメインランダム化で課題当たり1,000件に増やす。

PiperXアームの3課題（ボウルへの注ぎ、アヒルの人形を箱に載せる、ノートPCを閉じる、各15試行）で、生成データ1,000件で微調整したpi0.5の成功率は73.3%、80%、86.7%。遠隔操作教示150件では73.3%、86.7%、86.7%だった。両方を併用すると注ぎ課題は86.7%に上がった。場面とロボットの位置合わせ誤差は元の再構成の3.81〜8.62cmから0.61〜0.91cmに縮小。1,000件の生成はGPU1枚で25〜28分、教示150件の収集はオペレーター時間52〜73分で、事前のスキャンと処理は約35分だった。

プレプリントである。各条件の実機試行は15回のみで、6.7ポイント差は1回分に相当する。要旨は人手時間を1桁減らしたとするが、表では生成時間は約2.2〜2.6倍速い程度で、大きな削減はオペレーターの関与がほぼ不要な点による。課題は単純な剛体の移動のみで、柔軟物、精密挿入、多工程作業は未検証。軌道拡張を外すと成功率は13.3%に落ち、この工程への依存が大きい。