FY26W21 ロボティクス論文まとめ

一言概要: 2Bから122Bまでの規模で展開する、接触点予測や3Dグラウンディングに対応した身体性基盤モデルRynnBrain 1.1。

背景・目的: ロボットの知覚・空間推論・位置推定・計画を統一的に扱う身体性基盤モデルの開発が進んでいる。前バージョンのRynnBrain 1.0に対し、RynnBrain 1.1はモデル全体に接触点予測を導入し、2Bと9Bモデルにはネイティブな3Dグラウンディングを追加することで、ロボットの物体操作により直結した表現・出力を目指した。

提案手法: 統一された時空間的かつ物理的根拠のある枠組みで2B・9B・122B-A10Bの3規模を学習し、統一されたクロス身体行動空間と身体固有のマスキングを持つRynnBrain-VLAも開発した。Unitree G1、Astribot-S1、Tianji-Wujiという異なる実機ロボットに実際に展開して検証している。

結果: 身体性認知・位置推定・3Dグラウンディングで高い性能を示し、122B-A10BモデルはVSI-Bench、MMSI、RefSpatial-Benchで評価した全ての商用・オープンソースモデルを上回った。実ロボット実験では、RynnBrainで初期化した方策がQwenベースや代表的な汎用VLAを上回り、マルチタスク・マルチ身体での共同学習が単一タスク学習よりも高い成功率をもたらすことが確認された。

一言概要: ロボット学習における「進捗を測る報酬」の設計手法を、インターフェース・生成方法・データという3つの観点から整理したサーベイ論文。

背景・目的: ロボット学習は動的な環境と広大な行動空間の中で行われるが、タスク完了の有無しか教えない終端の成功信号だけでは、現在の行動が進捗しているのか停滞しているのか後退しているのかが分からない。そこで実行途中にフィードバックを与える「進捗報酬」の研究が増えているが、観測やゴールの与え方、出力信号、教師データの取り方、評価方法が手法ごとにばらばらで、横断的な比較や理解が難しい状況にあった。

提案手法: 本サーベイは進捗報酬モデリングを、モデルが何を受け取りどんな進捗信号を出すかという「インターフェース」、その信号を構築する仕組みという「手法」、それを支える「データとベンチマーク」という3つの連結した観点から統一的に整理する。それぞれの視点から既存研究に共通する前提や設計上の違いを洗い出している。

結果: この整理を通じて、進捗モデルとは何か・どう作られるか・その品質がどう検証されているかという3つの問いのつながりが明確になった。あわせて現行手法の主な限界点をまとめ、今後の研究の方向性についても議論している。

一言概要: 人の状態変化そのものを継続的にモデル化し支援する、人間中心のエージェントAIパラダイム「Combodied Agents」の提案。

背景・目的: 高齢者が服薬を忘れた際、ソフトウェアエージェントは再通知を送り、身体を持つエージェントは薬を届けられるが、どちらも本人が忘れたのか混乱しているのか副作用があるのか拒否したのかを説明できず、適切な支援内容も判断できない。これはソフトウェア状態を扱うデジタルエージェントと物理状態を扱う身体性エージェントのどちらも、人自身の変化する状態と主体性を第一の対象としていないという構造的な欠落を示している。

提案手法: 著者らはCombodied Agentsという人間中心のパラダイムを提案し、ソフトウェアツールやセンサー、ウェアラブル、ロボット、対人サービスを目的そのものではなく行動チャネルとして用い、人の状態の変化を時間軸で継続的に知覚・記憶・予測・支援する閉ループを構築する。個人イベントの再構成、訂正可能な長期記憶、将来状態を推定するパーソナル世界モデル、安全性や本人のコントロールを踏まえた介入方針選択という要素で構成される。

結果: この枠組みによりパーソナルアシスタント、ヘルスケアエージェント、AIコンパニオン、適応的なヒューマンAIシステムといった断片化した既存の能力を統一的に位置づけられる。著者らは人の状態を軸とした設計空間の整理に加え、シナリオ中心の評価法、本人の主体性を保つための指標、ベンチマーク要件、端末上で動くパーソナルモデル、ガバナンスの方向性についても提案している。

一言概要: 実ロボットを使わずに収集した高精度なUMIデータだけで、実機でも通用する操作方策を学習できることを示した研究HiFi-UMI。

背景・目的: 実運用可能な操作方策の学習は、高精度かつ大量に集められるデータの不足がボトルネックとなっている。実ロボットによる遠隔操作は正確だが収集コストが高く、ロボットを使わないUMI方式のデータ収集は拡張性が高い一方、従来はあくまで事前学習用とし、本番の後段学習には少量の実ロボットデータを「アンカー」として加える必要があった。

提案手法: 著者らはロボット不要のUMIデータの精度を高めることでこのアンカーを不要にできないかを検証し、頭部装着型のオフラインステレオ慣性SLAM、両手の相対姿勢の直接計測、マイクロ秒単位の共有トリガー、約200度の視野を持つ両手それぞれの広角カメラを組み込んだ携帯型データ収集システムHiFi-UMIを開発した。外部の追跡設備なしで3mmの精度を達成している。

結果: HiFi-UMIのデータのみで後段学習した方策は、StarVLA-QwenPI・OpenPI-pi_0.5・LingBot-VAという3種のバックボーンで実ロボットの遠隔操作データを使った場合と同等の性能(成功率差-2.5〜+3.1ポイント)を実機で達成し、最も精密な挿入タスクでは85%の成功率に達した。同じデータ群4,000時間分での事前学習は未知の10タスクでの行動誤差を41%低減した。

一言概要: 大規模言語モデルを介さず視覚と言語の情報を直接行動へ結びつけることで、軽量かつ高速に動くロボット操作モデルTurboVLA。

背景・目的: 視覚言語行動(VLA)モデルの多くは、視覚情報を大規模言語モデルの表現空間に投影してから行動を復号する「視覚→言語→行動」という経路を採用しており、有効ではあるが推論のたびに大きな計算・メモリコストがかかるという課題があった。

提案手法: TurboVLAは大規模言語モデルを中心的な仲介役とする代わりに、視覚情報と言語指示をそれぞれ独立に符号化し、軽量な双方向の視覚言語相互作用によって直接情報をやり取りしたうえで、コンパクトなデコーダで連続的な行動チャンクを予測する「視覚+言語→行動」の直接写像へと再定式化した。

結果: LIBEROベンチマークにおいて、TurboVLAはわずか0.2Bパラメータ、31.2ミリ秒の推論遅延、コンシューマー向けRTX 4090上で0.9GBのVRAMという軽量な条件下で平均97.7%の成功率を達成し、はるかに大きなVLA方策と同等かそれを上回る性能を示した。

一言概要: 基本方策を固定したまま実行中にリアルタイムで批評・回復スキルを進化させるクローズドループの身体性エージェント基盤Zetta。

背景・目的: 身体性エージェントはエンドツーエンド方策モデルの限界を補うために活用が進んでいるが、これまでの実行基盤(ハーネス)の多くは開ループのままで、実行中は固定スキルに従い、振り返りはエピソード終了後にしか行われない。物理的な相互作用は急速に変化するロボット・環境の状態を追う必要があり、事後的な振り返りでは実行中の制御に間に合わないという課題があった。

提案手法: Zettaは基本方策を凍結したまま、コードベースの実行時批評器と回復スキルをオンラインで進化させるクローズドループの実行基盤である。行動頻度の統制、ロールアウト単位での批評・回復提案、検証を経たスキル更新という時間スケールの異なる3つのループで構成され、異種の実行リソースからエージェントのロジックを切り離すインフラZ-Infraと組み合わせて動作する。

結果: ZettaはLIBERO-ProとRoboCasaにおいて、現行の計算予算の下でそれぞれ90.8%・93.6%という最高水準の成功率を、推論の11.1倍の高速化とともに達成した。成功率は自己探索の経験量に応じて向上し続け、獲得したスキルはゼロショットで転移でき、明確な「気づきの瞬間」がロボットに生じることも観察された。

一言概要: 指定した腕の動作に忠実な将来映像を予測する、ロボット操作向けの行動条件付き動画世界モデルDreamX-Phi 1.0の提案。

背景・目的: ロボット操作向けの動画世界モデルは、観測フレームと言語指示、エンドエフェクタの姿勢やグリッパー状態からなる行動系列を条件として将来の観測を予測する。しかし見た目がもっともらしい映像でも、指定と違う腕を動かしたり操作対象の物体を見失ったりすることがあり、リアルさだけでは行動指示への忠実性は保証されないという課題があった。

提案手法: DreamX-Phi 1.0はPRoPE方式の幾何エンコーディングによって腕ごとのSE(3)変換を注意機構に組み込み、各腕の同一性と剛体運動の構造を保持する。シーン全体の幾何情報のために軽量な深度分岐を追加し、SAM3のマスクと凍結したV-JEPA教師モデルを用いて把持中の物体の一貫性を維持する。さらに多段階の生成器を少数ステップの生徒モデルへ分布マッチング蒸留し、効率的な展開を可能にしている。

結果: DreamX-Phi 1.0はWorldArena 2.0 Challengeのトラック1で1位、トラック2で2位を獲得し、行動への忠実性と物体の一貫性を両立させた動画世界モデルとして高い性能を示した。モデルとコードは今後公開予定である。