RYOPO、カテゴリレベル物体姿勢推定をリアルタイム化するエンドツーエンドRGB-Dセット予測器
本論文はプレプリントである。著者らは、外部のインスタンス分割や物体ごとのクロップ処理を排したエンドツーエンドのRGB-Dセット予測器RYOPOを開発した。NOCSのCAMERA25とREAL275で姿勢推定APを大幅に向上させ、HouseCat6Dでも二段階手法に匹敵する性能を示し、RTX A6000上でフルフレーム姿勢推定を31.8FPSで実行した。
ロボティクスとフィジカルAIの最新論文と、それぞれが産業にもたらす意味。
本論文はプレプリントである。著者らは、外部のインスタンス分割や物体ごとのクロップ処理を排したエンドツーエンドのRGB-Dセット予測器RYOPOを開発した。NOCSのCAMERA25とREAL275で姿勢推定APを大幅に向上させ、HouseCat6Dでも二段階手法に匹敵する性能を示し、RTX A6000上でフルフレーム姿勢推定を31.8FPSで実行した。
上海AI実験室などの研究チームは、テキストの化学実験プロトコルから高精度なロボット操作デモを自動生成するシミュレーションフレームワークRoboChemGymを開発した。最長11原子動作のタスク生成成功率はクリーン設定で52.3%、ランダム設定で47.5%に達し、生成データでπ0を学習させると実機タスクの成功率が平均23.3ポイント向上した。本成果はプレプリント段階である。
MixVLAは、視覚言語行動モデルのゼロショット汎化を高めるモデル非依存の学習フレームワークである。情報ボトルネックと重み減算で不変表現と非不変表現を分離し、非不変特徴を適応混合してから行動予測に統合する。LIBERO-Plusで76.2%、RoboTwin 2.0のC2Rで62.4%を達成し、実機照明変化でもπ0.5の20%から60%へ改善した。本論文はプレプリントである。
GeoScaffoldは、視覚言語ナビゲーション(VLN)向けに、深度、接続性、通行可能性を訓練時のみ再構成させることで、推論時にはRGBと言語だけで空間認識を獲得する手法である。本論文はプレプリントであり、R2R-CEおよびRxR-CEで既存の視覚のみナビゲータを上回り、4BモデルがRTX 4090上で1フレーム81 msと高速である。推論時に深度センサや3Dエンコーダを必要としないため、エッジデバイスへの展開に有用である。
ETH Zürichらの研究チームは、報酬が疎なゴール条件付き強化学習向けに、開始状態とゴールを双方向から拡張するカリキュラムBVERを開発した。シミュレーションの迷路、四足ロボットの箱登り、ロボットアームのリング移動で、参照軌道を使わない既存カリキュラムより速く学習し、0.7mの箱登りは参照なし手法で唯一成功した。本論文はプレプリントであり、査読済みとは報告されていない。
本研究は、接触リッチ操作タスクを自由空間アプローチと接触インタラクションに分け、前者をフォトリアルなデジタルツインで、後者を少数の実機デモで収集するSARIを提案した。カメラ相対行動表現でπ0.5をポストトレーニングし、5つの実タスクで未見配置の完了を達成し、ランプタスクでは実データ収集時間を34.3%削減して未見配置成功率27.5%を記録した。本論文はarXivプレプリントである。
WINGは、人間の自己中心視点動画からロボット操作に転移可能な相互作用知識を抽出する枠組みである。観測者運動と手と物体の相互作用を分離する潜在行動学習と、低周波スペクトルガイダンスを導入し、シミュレーションのLIBEROで平均99.20%、RoboTwin 2.0で93.80%、RoboCasa–GR1で57.7%の成功率を達成した。本論文は査読前のプレプリントである。
VIGORは、TD-MPC2を基盤に、非対称な弱から強へのデータ拡張、ダイナミクスレベルの一貫性損失、エンコーダ安定化を組み合わせたモデルベース強化学習フレームワークである。DeepMind Control SuiteとRobosuiteのゼロショット視覚汎化評価で、既存のモデルフリー手法とモデルベース手法を上回り、二番手のSRMと比べて平均エピソード報酬でDMCは3.4%、Robosuiteは43.6%高い結果を報告した。本論文はプレプリントであり、査読済みではない。
MobiAgentは、長距離移動操作向けに内部ループと外部ループを組み合わせたエージェントフレームワークである。本プレプリントでは、BEHAVIOR-1Kでπ0.5-TAを22.5ポイント上回る平均成功率65.0%を記録し、実機Astribot S1でも自己改善により平均成功率が32.5%から57.5%に向上した。スキルの再利用と視覚検証に基づく再計画が、移動操作の長期タスク自動化に有効であることを示した。
FUSEyeはCOCOで事前学習したYOLO26-xのバックボーンを凍結したまま魚眼カメラ画像向けに適応させる学習軽量フレームワークである。WoodScapeのMVR評価分割でmAP50を0.148から0.266に改善し、完全ファインチューニング精度の84.3%を維持した。本論文はプレプリントであり、査読済み採録は確認されていない。
本稿はプレプリントである。研究チームは武術家の動画197本からKungfuAthleteデータセットを構築し、物理補正と低運動エネルギーサンプリングを備えたKungfuAthleteBotを開発した。実機Unitree G1で約0.7秒の転倒復帰と追従を単一ポリシーで達成し、動画データの修復と補償が高動的スキル獲得を可能にすると報告した。
物体が容器内に隠れている場合に、同じ種類の引き出しなど複数容器のどれを開けるかを順位付けする手法LOCUSを開発した。シーングラフ上のGNNでCLIP埋め込みを空間的文脈により更新し、iTHORシミュレーションで開封コストを示すECO/Nを0.257とし、ランダムやCLIP、TidyBot、LLMプランナーを上回った。同一クラス容器のインスタンス単位判別を初めて可能にしたプレプリントである。
本研究は新規視点合成(NVS)を自己教師あり幾何表現学習に用いるSNAPを提案したプレプリントである。SNAPは凍結DINOv3特徴を入力とし、デコーダの受容野を1×1に制限し、RGBではなく潜在特徴を予測することで、エンコーダに幾何構造を押し込む。5つの下流タスク(点対応、視覚的局在化、相対姿勢推定、相対深度推定、ロボット操作)で自己教師あり手法を上回り、幾何学教師ありVGGTに匹敵する結果を示した。
本研究はプレプリントである。CORNAVは、BIMを必要とせず2D CAD図面と工事工程表から、建設現場の時間変化する安全制約をナビゲーションに反映するフレームワークである。設計図に基づく物体位置の特定によりタスク成功率を13.0%から72.2%に引き上げ、工程表の利用でハード進入違反を0件にし、LLM安全検証が誤った工程表ラベルによる危険要求を正しく拒否した。
本論文はプレプリントである。PointWAMはシーン点群と手のキーポイントを共通の時空間座標で3D点軌跡として同時予測する世界行動モデルである。人間動画による事前学習でDexJoCo平均成功率が56.9ポイント向上し、シーン軌跡の教師信号が10.9ポイントの追加効果を示し、GR00T N1.6を11.7ポイント上回り、実機でも最大25ポイントの差をつけた。
本論文(プレプリント)は、7種類の器用ハンドと6タスク、2100件のデモンストレーションからなるベンチマークDexJoCo-Xを構築した。同一条件でNative、FAAS、DexLatentの3つの行動表現をBeing-H0.5で比較し、FAASが平均47.7%、Nativeが47.0%、DexLatentが33.1%の成功率を報告した。行動表現の効果は事前学習やアーキテクチャと一体で評価すべきだと示した。
I2CDは、事前学習済みの画像条件付き3D生成モデルHunyuan3D-2を凍結し、軽量なクロスアテンションヘッドのみを学習することで、単一RGB画像から凸多面体の集合を直接予測する手法である。227個のOmniObject3DおよびGoogle Scanned Objectsオブジェクトで、8つの再構成・分解パイプライン中最高の体積IoUを達成し、エンドツーエンドで6〜37倍高速だった。現時点ではプレプリントであり、査読済みではない。物理エンジン4種にそのまま読み込まれ、実機xArm7でのピックアンドプレースではプランナー準備時間を328秒から11秒に短縮した。
UCLAの研究チームは、Opentrons Flexのデッキ準備を外部Webカメラで検証する受動的AIシステム「Labware Setup Checker」を開発した。本プレプリントでは、RVP前PCRデッキ準備で完全一致を要する348回のラボウェア分類の95.1%がプロトコル参照と一致し、遮蔽、カメラ位置、照明を変えた試験でもスロット割り当ては100%、分類一致率は97.73%だったと報告している。ロボットのハードウェアやファームウェアを変更せず、ローカルCPUで中央値2.10秒、AWS配備で4.24秒の検証を実現した。
arXivプレプリントとして公開されたEyeRobot 2.0は、1台の固定ステレオカメラだけを用い、視線を3D注視点へ物理的に向ける能動視覚注視によって微細なバイマニュアル操作を可能にする枠組みである。実機1000試行超とシミュレーション1800試行で評価し、受動ステレオ比で実機40%、シミュレーション20%改善し、手首カメラが遮蔽される作業では成功率を2倍以上に高めた。手首カメラの制約を回避する単一カメラ代替手段として重要である。
AVL-JEPAは、JEPA世界モデルが視覚情報を保持しながら行動の物理的帰結情報を失う「因果ダイナミクス情報崩壊」を防ぐ手法である。TwoRoom、PushT、OGBench Cube、Reacherの4タスクで評価し、ガウスノイズ下のPushTで成功率が15.3%から81.5%へ、TwoRoomで65.7%から88.7%へ向上した。プレプリントであり、査読済みではない。
論文は arXiv のロボティクス分野から取得しています。当社の要約が未作成の場合は、要旨の冒頭を表示します。