FY26Week18 注目論文まとめ(AI分野) 7本

一言概要: 既存コードの修正ではなく「ゼロから完全なプログラムを書き上げる」タスクに小型言語モデルを鍛えるため、教師モデルの軌跡データと自動化された環境構築パイプラインを組み合わせた手法「MindForge」の提案。

背景・目的: コーディングエージェントはバグ修正や機能追加など既存コードベースを改変するタスクでは大きく進歩したが、プログラムをゼロから構築するタスクは依然として大きな壁であり、ProgramBenchで評価した最先端モデルでもタスクの完全解決率は1%未満にとどまる。この「ゼロから構築」という設定をソフトウェア開発ライフサイクル全体にわたって扱えるスケーラブルな訓練環境が不足していたことが、大きな障害の一つとなっていた。

提案手法: オープンソースのコマンドラインプログラムを、コンパイル済みの参照実行ファイルとそのドキュメントのみを公開する「ソースなし環境」へ自動変換するパイプライン「MindForge」を構築した。ProgramBenchに含まれるリポジトリとは重複しないリポジトリ群から訓練環境を作成し、教師エージェントとしてGLM-5.2を用いたプログラム合成の軌跡データからなる高品質なデータレシピを整備。これを用いてQwen3.6-27Bをファインチューニングした。

結果: ProgramBenchにおける平均テスト通過率を37.98%から49.51%へと引き上げ、はるかに大規模なフロンティアモデルに匹敵する性能を達成した。さらにファインチューニング後のモデルは、長期リポジトリ生成・翻訳、バグ修正、機能実装、多言語間の課題解決を含む7つの未見のソフトウェア工学ベンチマークすべてで一貫して性能が向上し、RepoZero-C2Rustで31.00ポイント、DeepSWEで14.16ポイントなど、絶対値で大きな改善を示した。

一言概要: プログラムをゼロから構築する際、実装に着手する前に「挙動仕様の聞き出し」を独立した工程として明確に位置づけるエージェント設計「SpecFirst」の提案。

背景・目的: LLMベースのエージェントは、既存のコードベースが文脈を与えてくれるソフトウェア工学タスクでは高い能力を発揮する一方、ゼロからプログラムを構築するタスクは根本的に難しい。ProgramBenchのようなベンチマークはこのギャップを定量化しており、自然言語のドキュメントと実行のみ可能なバイナリしか手がかりが無い状況では、最先端モデルでも1%未満のインスタンスしか解けない。既存の枠組みはドキュメント読解・挙動探索・コード合成を単一のパスに混在させてしまうため、エージェントの探索が不十分になったり、文脈がドリフトして挙動の意図を見失ったり、初期の誤解がそのまま最終的な実装に伝播してしまう。

提案手法: 古典的な要求工学の考え方に着想を得て、挙動仕様の聞き出しを実装に先立つ独立した一級のフェーズとして位置づけるべきだと論じ、2段階フレームワーク「SpecFirst」を提案した。専用の仕様エージェントがまずバイナリを探索し、その観察結果とドキュメントを統合して構造化された仕様書を作成する。続いてコード合成エージェントがこの仕様書を用いて実装を進める。この分解により、コーディングが始まる前にドキュメントの曖昧さを解消し、合成プロセス全体を通じて安定した挙動リファレンスを提供できる。

結果: 2つのモデルファミリー・1桁の性能差にわたる4モデルを用い、ProgramBenchの全200インスタンスでSpecFirstを評価した結果、単一ループのベースラインを一貫して上回り、テスト通過率を6.9〜21.3ポイント、バイナリ探索の網羅率を9.4〜18.5ポイント改善した(いずれも統計的に有意)。コード合成過程の挙動分析からは、事前の仕様書があることでより早期かつ持続的なコード構築が可能になることも示され、明示的な要求工学フェーズがゼロからのプログラム構築に有効なパラダイムであることを実証した。

一言概要: LLMエージェントがオフィススイート業務を「妥当なコストで」遂行できるかを、人的労働時間とタスク価格という経済指標を紐づけて評価する新ベンチマーク「OmegaUse-OfficeVal」の提案。

背景・目的: 大規模言語モデルエージェントはユーザーのタスク遂行を支援する場面が増えているが、既存のベンチマークはオフィススイート業務のワークフローをエージェントが妥当なコストでやり遂げられるかどうかを評価する仕組みをほとんど提供していなかった。実務上は精度だけでなく、人間に依頼した場合と比べてどれだけ経済的に見合うかという視点が導入判断において重要になる。

提案手法: 実務者から集めたオフィススイート関連の依頼をプライバシー保護処理を経て採用した100タスクからなるベンチマーク「OmegaUse-OfficeVal」を構築した。これらのタスクは平均して2.32時間の人的労働に相当する。ベンチマークの特徴は、各タスクに人的労働時間とタスク価格のプロキシという2つの経済指標を紐づけている点にあり、人間のコストとLLMの推論コストを直接比較したり、価値で重み付けした評価を行ったりすることが可能になる。安定した評価のため、粒度の細かいルーブリックからコードベースの検証器も開発し、複数の最先端LLMと人間のベースラインを比較評価した。

結果: 評価対象となったすべてのLLMは、人間の作業者と比較して大幅に安価かつ高速にタスクをこなせることが確認された一方、成果物の品質はいまだ人間レベルには到達していないことが示された。コストと品質のトレードオフを定量的に可視化した点は、企業がLLMエージェントの実務導入を判断する上で実践的な指針となる。

一言概要: オンライン強化学習のファインチューニングにおいて、事前学習済み方策に対してQ関数まで事前学習しておく必要が本当にあるのかを、系統的な実験によって検証した研究。

背景・目的: 事前学習してからファインチューニングするというレシピは性能の高い方策を学習する上で主流となっており、価値ベースの強化学習ではこれが「事前学習済みの方策に対してQ関数もオフラインデータで事前学習すべきか」という自然な問いを提起する。従来の常識ではQ関数も事前学習すべきとされてきたが、近年の結果ではランダム初期化のQ関数によるオンライン強化学習でも高性能で信頼性の高い方策が得られると報告されており、この対立を体系的に検証する必要があった。

提案手法: 事前学習済みのベース方策の上でファインチューニングを行う際、Q関数の事前学習が実際に有用かどうかを系統的に検証した。その結果、単純なQ関数事前学習は多くの場合ランダム初期化に対してほとんど恩恵をもたらさないという意外な事実を発見し、これは事前学習中に学習されるQ関数が「事前学習済み方策自身のQ関数」を目標としており、オンラインファインチューニングが実際に収束していく先のQ関数とは異なるという根本的なミスマッチに起因することを突き止めた。このギャップはオフラインでの価値最大化を行った後でも解消されない。この知見をもとに、複数の多様な方策を訓練し、それらのロールアウトをプールしてオンライン強化学習におけるQ関数学習をブートストラップする手法「Initialization via Policy Ensemble(IPE)」を提案した。

結果: 難易度の高い連続制御ベンチマーク群において、IPEは素朴なQ関数事前学習に対して平均1.26倍のファインチューニング性能向上を達成した。本研究は「事前学習すれば必ず良い」という直感に反する結果を実証的に示し、価値ベースRLの事前学習戦略を見直す契機となる知見を提供している。

一言概要: 物理的な状況だけでなく、他者の信念・欲求・意図・感情・社会的な許容範囲といった「心的状態」までも中核的な構成要素として組み込む新しい世界モデルの枠組み「Mental World Modeling(MWM)」の提案。

背景・目的: 世界モデルは計画・行動のための予測的な基盤を提供するが、既存の定式化は「それが何で、どこにあり、どう変化するか」という物理的な問いにしか答えておらず、人間の行動は他者が何を信じ、何を望み、何を意図し、何を感じ、何が社会的に許容されると考えているかという隠れた心的状態によって駆動されるため、物理的なシーンは追跡できても各エージェントの知識・信念を捉えられないモデルは、見た目は正しいシーンに対して誤った行動を予測してしまう。

提案手法: 心的変数を後付けの説明ではなく世界モデルの中核的な構成要素として位置づける汎用的な理論的枠組み「Mental World Modeling(MWM)」を定式化した。MWMは物理状態と心的状態を結合した世界状態を維持し、対象に応じた部分観測を描画し、候補となる行動が両方の状態をどのように共同で更新するかをシミュレートする。この枠組みを、訓練不要で完全に検査可能なベースライン「MENTIS」として実装し、状態のパース、対象特化の観測生成、行動の分解、物理・心的状態の結合遷移、分岐レベルの価値評価という一連のプロセスに分解した。

結果: テキスト・画像・音声動画にまたがる状況判断シナリオからなる、手作業で構築・品質管理されたデータセットを用いて8種類の最新LLMベース世界モデルを評価した結果、心的状態を明示的にモデル化することが人間の意思決定を予測する上で不可欠であることが実証された。さらに詳細な分析により、現在の心的世界モデリングが抱えるボトルネックも明らかになり、本研究はMWMを物理シーンのシミュレーションから、そこで行動する「心」のシミュレーションへと世界モデリングを発展させる次の段階として位置づけている。

一言概要: ハエが周囲の環境を感知するメカニズムに着想を得て、複雑な回帰タスクを分類問題として解き直す新しい軽量な学習フレームワークの提案。

背景・目的: 科学データはしばしば入力空間の限られた反復的な領域にしか存在しないにもかかわらず、複雑なグローバルな代理モデルで対応しようとすると、計算・メモリ資源が過剰になりがちであり、こうしたデータの性質を活かしたより軽量な回帰アプローチが求められていた。

提案手法: 代表的な局所パターンからなる有限のライブラリを用意し、複雑な大域モデルを個々に構築する代わりに、クエリと保存されたパターンとの類似度を測定し、それに紐づく応答を重み付き再構成によって統合することで予測を生成するという、ハエの感覚メカニズムに着想を得た枠組みを構築した。この手法を非線形力学系、データ駆動型回帰、物理情報学習という3つの領域に、それぞれ適切な埋め込みと類似度指標を用いて適用した。力学系に対しては、データや支配方程式からオフラインでパターンを抽出し、オンライン推論では類似度評価と応答の集約のみで済むワークフローを構築している。

結果: このオフライン・オンラインの構造により計算・メモリ負荷を抑えつつ、精度・保存容量・推論コストというトレードオフを明示的に制御できることが示された。複雑なグローバルモデルに頼らない、科学計算向けの軽量かつ解釈しやすい回帰パラダイムとしての可能性を示す成果である。

一言概要: 最先端AIモデルが実際の経理・会計業務をどれだけ正確にこなせるかを、専門家が設計・採点した実務タスクで評価する新ベンチマーク「APEX-Accounting」。

背景・目的: AIモデルの実務活用が急速に進む中、記帳、経費計上、取引の記録、レポート作成といった経理・会計の実務タスクをAIがどこまで正確にこなせるのかを、専門家の視点から評価する仕組みがこれまで存在しなかった。

提案手法: 決済プラットフォームのRampと共同で、MercorがAPEX-Accountingベンチマークを構築した。非公開の評価セットは160タスクからなり、10の「ワールド」に分割され、各ワールドには会計システム、スプレッドシート、PDFなどのファイル群が含まれる。すべてのタスクは会計・簿記の専門家によって作成・解答され、採点ルーブリックも専門家が作成した。9つの最先端モデルを比較し、トークン予算を1ドルから50ドルまで変化させる実験も行った。

結果: 9モデル中、Claude-Fable-5(Max)がMean Criteria@3で56.4%と首位に立ち、Muse-Spark-1.1(xHigh)の52.6%が続いた。8回中の完全一致を意味するPass^8は最高でも21.5%(Muse-Spark-1.1、xHigh)にとどまり、2.6%を超えるモデルは無かった(GPT-5.6-Sol、Max+Pro)。トークン予算を増やすとスコアが向上する一方、同一の予算制約下ではより多くのトークンを費やしたタスクほどスコアが低いという「シンプソンのパラドックス」に相当する現象も観察され、実務レベルの経理業務にはまだ距離があることが定量的に示された。