COWBOY：シミュレーションだけで学んだ移動型ロボットハンド、実環境24カ所で未知の物体を91%把持（カーネギーメロン大）
米カーネギーメロン大学の研究チームはプレプリントで、シミュレーションだけで学習した単一の視覚方策により、アームと4指ハンド、可動カメラを持つ車輪型ロボットが冷蔵庫から階段まで実環境24カ所で日用品を平均91%つかめたと報告した。学習に使っていない8000のシミュレーション環境では92.4%で、ManipGenの63.1%、エンドツーエンド強化学習の0%を大きく上回った。
シミュレーションで学んだ一つの方策が、物体だけでなく周囲の環境を見て、移動マニピュレーターの停止位置、視線、腕の軌道、手のつかみ方をまとめて決められるか。
シミュレーション由来の把持技術は多くの物体に汎化するが、たいてい固定された一つの環境で学習している。家庭の移動ロボットは棚や引き出し、散らかった物の間で車体の位置やカメラの向き、腕の経路も選ぶ必要があり、シミュレーションの報酬と観測の設計が難しい。
ManipGenは点群ベースの局所方策、AIT*による経路計画、中間目標を決める視覚言語モデルをつなぐが、この目標が後の操作を考慮しないため腕が特異点付近に置かれやすい。点群からのエンドツーエンド強化学習は障害物があると失敗する。
COWBOYは仕事を分ける。幾何学的ファブリックに基づく全身制御器が1枚のGPUで数千のシミュレーション場面を並列に動かし、衝突を避けカメラで対象を捉えたまま手を物体の近くへ運ぶ。Isaac Gymで数百種の物体を使って学習した局所強化学習エキスパートが把持を担う。両者を一つの生徒方策に蒸留し、深度とLiDARの点群だけでTidyBot++移動台車、Frankaアーム、LEAP Hand、カメラを載せたARX X5アームの計32自由度を制御する。
シミュレーションでモデル化していない実環境24カ所で、不規則な物や柔らかい物を含む未知の日用品を平均91%把持し、状況に応じて上からか横からか、車体位置も自ら選んだ。未知物体150種、8000のシミュレーション環境では、生徒方策が卓上94.7%、引き出し92.9%、箱91.3%、棚90.5%（平均92.4%）で教師の95.6%に迫り、衝突率は6.1%（教師4.3%）だった。ManipGenは平均63.1%（棚21.2%）、エンドツーエンド強化学習は0%で、障害物を除くと96%だった。全身制御器は98.4%の試行で手をエキスパートの作業範囲に運んだ。
著者らは、把持方法を場面と物体形状だけで決めており、次の用途に合った特定の把持が必要な実作業には追加の条件付けが要ると認めている。横からつかむ必要がある棚は物を倒しやすく成績が低い。実環境の結果は場面ごとの試行数なしの平均で示され、課題は複数段階の家事ではなく把持に限られる。査読前のプレプリントである。
家庭用やサービスロボットのメーカーは初めての部屋で動く移動マニピュレーターを必要とするが、間取りごとに実データを集めるのは遅すぎる。シミュレーション中心の手法が冷蔵庫やソファ、階段に移ったという結果は、NVIDIA Isaacの利用者やヒューマノイド新興企業のシミュレーション重視路線を裏付ける。人手不足の介護や小売の現場で物を取ってくる用途が2〜3年内の現実的な出口で、その前に用途別の把持と失敗からの回復が加わる必要がある。