Reins、動作条件の検査と継続観察で双腕ロボットを制御
プレプリントReinsは、実行条件を確認する動作列と継続的なカメラ観察を汎用マルチモーダルモデルに接続し、双腕ロボットを制御した。GPT-6.1 Solは、条件ごとに5回評価した実機の5課題で全体成功率88%を記録した。推論中の環境変化と実行中の接触情報を制御に取り込む手法である。
ロボット向けの追加学習を行わず、汎用マルチモーダルモデルが基本動作ツール、実行条件の検査、継続的な映像観察によって長時間の接触操作を遂行できるかが研究課題である。
長い操作手順では、接触や把持の成否を確かめ、動作中とモデルの推論中に生じる変化を追跡する必要がある。判断の合間だけ画像を受け取る方式では物体の移動を見落としやすく、途中確認のない動作列は把持失敗や予期しない接触の後も進行し得る。
従来はスキルの組み合わせ、プログラムや空間目標の生成、ロボット実演からの制御学習が用いられてきた。Show-Harnessは小刻みな移動と開ループの動作列を使い、途中の失敗を確認する仕組みに限界がある。VoLoは自らの実行を間欠的に監視する。接触情報の取得と推論中の観察に空白が残る。
Reinsは行動モデルに18種類のツールを提供し、SAM 3によるRGB-D認識、3次元計測、アーム移動、グリッパー制御を扱う。手首カメラによる位置計測精度は約1.6 mmである。関節電流を使って接触時に停止し、グリッパーの応答から物体の把持を報告する。動作列は最大8呼び出し、16回の実行に対応し、実行ごとに条件を検査する。別のモデル実体が頭部カメラを1 frame/sで観察し、動作中の手首画像も受け取って変化を報告する。実機は標準の平行グリッパーを備えた2台の6-DoF AirBot Playと、頭部および手首のRGB-Dカメラで構成する。頭部画像1枚からシミュレーション用のシーンツインも構築する。
GPT-6.1 Sol、GPT-6 Astra、Claude Opus 5.5を高い推論設定で実機評価し、5課題を条件ごとに5回試した。課題はカップ下の隠れた物体の追跡、引き出しへのブロック収納と閉鎖、タオル折り、シャツ折り、掃き集めである。Solの全体成功率は88%だった。全モデルが毎回引き出しを開けた。観察モデルを外すとSolのカップ課題成功は5回中2回だった。Astraの観察モデルは5回中4回で隠れた物体を追跡し、Opusは追跡に一度も成功しなかった。Opusの課題成功2回は推測によるものとされた。枠組み全体を外したSolはカップ課題で全敗し、所要時間は8倍だったと論文は報告した。SolのUltrafast観察モデルは応答に1-6 sを要し、カップの入れ替えを8-11の観察区間で捉えた。standard tierのAstraとOpusは3-40 sを要し、観察区間は2-4だった。モデルの応答遅延は各試行時間の41-78%を占めた。課題別の詳細な成功率、絶対所要時間、API費用は、提供本文では報告されていない。
評価したハードウェアは1種類で、試行は条件ごとに5回である。成否は操作者が判定した。引き出しと掃き集めの指示には把持や姿勢のヒントを含む。接触検出は関節電流とグリッパー幅に依存する。遅い観察モデルは素早い変化を遅れて報告し、モデル応答の待ち時間も大きい。コードは出版時に公開する予定である。シミュレーションツインで学習して方策を改善する取り組みは今後の課題である。
折り畳み、引き出し操作、掃き集めを扱う双腕卓上システムの開発企業やロボットインテグレーターが活用を検討できる。適用を広げるには、他のハードウェアとより多くの試行による検証、環境変化に追従できる観察速度が必要である。商用導入の時期は論文では報告されていない。
論文全文
CC BY-NC-SA 4.0 のもとで公開された論文です。全文は出典を明記して英語のまま転載しています:全文を読む(英語)。原文は arXiv:2611.16632(PDF)。