FY26Week18 注目論文まとめ(ロボティクス分野) 7本

一言概要: 巨大な言語モデル(LLM)を仲介せず視覚と言語を直接結びつけることで、リアルタイム性とメモリ効率を大幅に高めた新しいVision-Language-Actionモデル「TurboVLA」の提案。

背景・目的: 主流のVLA(Vision-Language-Action)モデルは、視覚観測を大規模言語モデルの表現空間へ投影してから行動へ復号するLLM中心の V→L→A というパイプラインを採用しているが、この設計は方策を呼び出すたびに大きな計算・メモリオーバーヘッドを発生させ、ロボット操作に求められるリアルタイム性を損なう要因となっていた。

提案手法: 従来のV→L→Aパイプラインを、視覚と言語から行動へ直接マッピングする「V+L→A」という枠組みに再構成した新パラダイム「TurboVLA」を提案。中央のインターフェースとして大規模言語モデルを使う代わりに、視覚観測と言語指示をそれぞれ独立にエンコードし、軽量な双方向のビジョン・ランゲージ相互作用によって両者の情報を直接交換したうえで、コンパクトなデコーダで連続的な行動チャンクを予測する。この設計により、視覚・言語特徴からタスク条件付けされた表現を直接構築し、VLA推論に伴う計算・メモリコストを大幅に削減する。

結果: LIBEROベンチマークにおいて、TurboVLAはわずか0.2Bパラメータ・推論レイテンシ31.2ミリ秒・コンシューマー向けRTX4090上で0.9GBという極めて軽量な推論構成でありながら、平均成功率97.7%を達成し、はるかに大規模な既存VLA方策と同等かそれを上回る性能を示した。これらの結果は、TurboVLAが主流のLLM中心VLAパラダイムに対するシンプルかつ効果的な代替案であり、視覚・言語・行動を効率的に結びつける新しい視点を提供することを裏付けている。

一言概要: 視覚言語モデル(VLM)が物理的な身体を通じて実際に行動できるかどうかを、意思決定の巧拙と身体制御の巧拙を切り分けて評価する新しい評価フレームワーク「HumanCLAW」の提案。

背景・目的: 視覚言語モデルが物理的な身体を介して行動できるかを評価することは本質的に難しい。行動の結果はVLMの意思決定とモーター制御の両方に依存するため、タスクが失敗した際に、それがVLMの判断ミスによるものか、単にモーターコントローラがバランスを崩すなどして実行に失敗しただけなのかを見分けることが困難であり、行動知能そのものを測定する手段が不足していた。

提案手法: 行動の意思決定と低レベルな実行を切り分けて評価するフレームワーク「HumanCLAW」を導入した。各ステップにおいて、外部のVLMがハーネスを介してアトミックなスキルコマンドを発行し、そのコマンドが重力や衝突といった実際の物理的帰結を伴うサブ秒単位の連続的な全身動作へと変換される。これにより、身体は物理世界の中で自由に行動できる一方、バランスやモーターの誤差といった実行側の外乱は要因として切り離され、モデルのその場その場での「次に身体に何をさせるか」という選択能力のみが測定可能になる。このフレームワークに基づき、41の屋内シーンにわたる1,218件の長期・一人称視点のfind-navigate-interactエピソードからなるベンチマーク「HumanCLAW-Bench」を構築した。

結果: 最先端の視覚言語モデル9種を評価したが、いずれもベンチマークを解けず、最高性能のモデルでも成功率はわずか16.8%にとどまった。ターゲットの認識自体はボトルネックではなく、現在のVLMに欠けているのは「身体的自己認識」、すなわち自分の身体が今どこにあるか、目標に到達したか、障害物に衝突したかを把握する能力であることが明らかになった。

一言概要: SLAMの逐次的な頑健性とオフラインSfMの大域最適化という、これまで二者択一とされてきた強みを統合し、任意の長尺・未較正動画からカメラの正確な位置姿勢を復元するシステム「VidMap」の提案。

背景・目的: あらゆる制約のない動画からカメラの較正情報とメートル単位の位置姿勢を正確に復元できれば、ナビゲーションやシーン理解のための大規模な訓練データを解放できるが、支配的な手法であるSLAMは因果的・逐次的な性質ゆえに初期化への感度や一時的な失敗に弱く、多くの場合カメラの較正情報が既知であることを前提とする。一方SfM(Structure-from-Motion)は画像の順序を考慮しないため最適な初期化と大域最適化が可能な反面、視覚的な対称性や激しい動きに対する頑健性を欠くという、それぞれ異なる限界を抱えていた。

提案手法: SLAMが持つ強い逐次的制約と、オフラインSfMが持つ柔軟性・大域最適化を組み合わせるシステムを構築し、任意の長さの未較正動画についてメートル単位の再構成を可能にした。広ベースラインでの高密度な画像マッチングにおける近年の進歩を活用し、時間的な順序性をループクロージャの信頼性を担保する一級市民として扱い、単眼のメートル深度に関する事前情報によって大域最適化を補強している。

結果: 激しい動きや視覚的な対称性を含む多様で難易度の高いデータセットにおける徹底的な評価により、提案手法はカメラの較正情報が既知・未知いずれの場合でも、古典的・学習ベースを問わず最先端のSLAMおよびSfM手法と比較して有意に高い頑健性と精度を達成することが示された。

一言概要: 行動ラベルの付いていない大量の動画から、ロボット方策学習に転用できる「潜在的な行動」を決定論的な点ではなく確率分布として抽出する手法「DLAM」の提案。

背景・目的: Vision-Language-Action(VLA)モデルは行動ラベル付きのロボットデータの乏しさに制約される一方で、行動ラベルのない動画は物理的な変化の観測として豊富に存在する。潜在行動モデルはこうした動画から事前知識を抽出できるが、再構成のみで訓練された潜在コードは、ロボット行動と共同で生成するために必要な構造を欠いたまま将来の観測を予測してしまうことがある。既存の構造化手法は時間的制約を加えるものの、決定論的な遷移点を前提とするため、局所的に推定された遷移の誤差が再帰的な合成の過程で伝播・蓄積してしまうという課題があった。

提案手法: 各遷移を対角ガウス分布として表現する分布的潜在行動モデル「DLAM」を提案した。参照フレームに条件づけられた再構成によって平均を観測された視覚的変化に接地させる一方、等間隔の三つ組(トリプレット)にわたる正規化された合成・反転操作によって平均と次元ごとの分散の両方を制約する。分散の合成には、中間フレームを共有する隣接遷移間の依存関係を考慮する軽量な共有相関係数を用い、反転操作では平均の符号を反転させつつ分散はそのまま保持する。下流の方策学習では、エンコーダを固定した上でフローマッチング方策を訓練し、平均遷移系列とロボット行動を同時に生成する。

結果: 保留された遷移データにおいて、DLAMは既存の潜在行動ベースラインよりも時間的に一貫した潜在ダイナミクスを学習し、保留動画に対する直接的・累積的な再構成の両方でより高い性能を達成した。同一のπ0制御下での転移プロトコルにおいて、MetaWorld MT50・LIBERO・実世界操作タスクでの方策性能も改善し、正規化された平均制約が再構成向上の大部分を占める一方、学習された分散と相関を考慮した合成が下流制御に相補的な改善をもたらすことをアブレーション実験で確認した。

一言概要: 過渡期の自動運転車による車線変更という複雑な行動計画課題を、公道での制御実験を通じて挙動データとして体系的に収集し、モーションプランニング・安全評価向けのベンチマークとして提供した研究。

背景・目的: 車線変更のようなインタラクティブな行動計画をロボット・自動運転の観点から評価するには、ギャップ受容の瞬間だけでなく、動作プロセス全体を通じた挙動と安全性の変化を捉えた実データが必要だが、モーションプランナーの検証に使える形でこうしたデータを提供した研究はほとんど存在しなかった。

提案手法: 米ノースカロライナ州Apexの公道において、計装車両4台を用いて再現性の高い交通状況を作り出し、車線変更車両の初期位置を変化させながら78回の必須車線変更試行を実施した。高精度RTK-GNSS/INSによる軌跡データからリード・ラグ・車線変更ギャップを算出し、この一連のデータをNC-tALCデータセットとして公開、モーションプランニング・安全評価アルゴリズムのベンチマークとして利用できる形に整備した。

結果: リード・ラグギャップは車線をまたぐ直前の狭い範囲へ一貫して収束し、衝突リスクは車線への物理的な進入直前でピークに達するという挙動パターンが確認された。この知見はモーションプランナーが「いつ・どの程度」リスクを考慮すべきかという設計指針を与えるものであり、学習ベースの行動計画モデルの較正やシミュレーション環境の検証用ベンチマークとして直接活用できる。

一言概要: 潜在世界モデルが実際にどの物理量(質量・摩擦・接触剛性など)を内部表現として獲得しているかを、制御された介入実験によって解明した研究。

背景・目的: 潜在世界モデルの中心的な前提は「未来を予測するプロセスが、環境の物理法則を表現に内在化させる」というものだが、実際に訓練済みの潜在表現がどの物理量を含んでいるのか、そして何がそれを決定づけるのかは十分に解明されていなかった。

提案手法: 見た目上は同一だが質量・摩擦・接触剛性が異なる物体を含む対話的環境「POKEWORLD」を用いて、制御された介入実験を行った。まず各物理パラメータが生の観測から回復可能かどうかを認証する「証明書ゲート」プロトコルを適用し、その上でそのパラメータが実際に潜在表現へ取り込まれるかを測定することで、null結果(獲得されなかったという結果)が環境側の限界ではなく学習目的側の限界に起因することを明確に切り分けられるようにした。

結果: 得られた識別可能性マップから、入力は「何が知りうるか」を制限し、予測対象は「何が実際に保持されるか」を決定するという2つの整理された仕組みと、1つのフロンティア(限界事例)が明らかになった。接触剛性は触覚を予測対象に含めたときにのみ潜在表現へ取り込まれ(R²=0.50、入力に単に融合しただけの場合は-0.02)、単一ステップ予測では視覚のみの潜在表現は完全に可視な物体状態すら捨ててしまう。摩擦(drag)はフロンティアに位置し、回復可能性証明書のスコアは0.89と高いにもかかわらず、あらゆる決定論的な予測目的の下でも0.13程度で頭打ちとなる一方、同じ基盤上の教師ありヘッドでは0.45に達した。RH20T上での入力・予測対象の要因実験でも、2種のロボット・4,258エピソードにわたって同じ2つの仕組みが再現され、情報または予測圧力のいずれかを欠くアームは5倍のデータ範囲でも性能が横ばいのままだった一方、フル・マルチモーダルな学習目的のみが力を持続性ベースラインを超えて予測でき、その利得はデータ規模とともに増大した。

一言概要: VLA方策の失敗が予測される場面でのみ介入するという、成功可能性に応じて適応的に振る舞いを変える推論時ステアリング手法「RL²」の提案。

背景・目的: Vision-Language-Action(VLA)モデルは印象的な視覚運動能力を持つ一方で、難易度の高い分布外タスクでは性能が低下しがちである。近年の推論時ステアリング・スケーリング手法は追加のデータ収集や再訓練なしに性能を改善できるが、行動サンプルが似通った挙動に偏りやすく相関した失敗モードを引き継いでしまう上、既存手法はベース方策がすでに成功しそうな場面でも一律に同じ介入戦略を適用してしまうため、かえって精度の高い行動を乱してしまうことがあった。

提案手法: VLAの潜在表現に対する強化学習を活用する適応的な推論時ステアリングフレームワーク「RL²」を提案した。まずVLAの行動エキスパートから抽出した表現力の高い潜在表現に条件づけられた軽量なオフライン強化学習方策を訓練し、推論時にその方策のフロー速度を固定されたVLAのフロー速度と合成する。この合成的ステアリング戦略は、大規模模倣学習が持つ行動事前分布と、支配的なデモンストレーションのモードを超えたオフラインRLによる行動多様性を組み合わせるものである。さらに、推論時ステアリングは成功状態と失敗状態のもとで根本的に異なるスケーリング則に従うことを発見し、行動の多様性はベースのVLAが失敗しそうな場合に最も有益である一方、成功しそうな場合は不必要にすでに精度の高い行動を乱しうることを明らかにした。この知見に基づき、RL²は失敗が予測された場合にのみ合成的ステアリングを起動する設計とした。

結果: SIMPLERおよびPolaRiSベンチマークにおいて、RL²は分布外設定での成功率を最大+17.3%改善し、アブレーションおよびスケーリング実験は潜在表現とRL訓練の重要性を裏付けた。さらに実世界実験により、これらの改善効果がシミュレーションを超えて実環境にも転移することが確認され、RL²がVLA展開のための実用的かつモジュール性の高いステアリングフレームワークであることが示された。