Nash-MOPD：複数教師モデルの学習配分を改善する手法

👁 116閲覧数

この研究はarXiv（cs.LG / cs.AI）に掲載され、2026年10月19日にSiyuan Gan氏と、論文中で所属が明記されていない6人の共著者によって投稿されました。

課題：複数の教師モデルに学習予算をどう配分するか

複数教師オンポリシー蒸留（Multi-teacher On-Policy Distillation、MOPD）では、1つの生徒モデルが、数学やコーディングなど異なる分野に特化した複数の専門モデルから同時に学びます。課題は、生徒モデルの最適化ステップ数とサンプル数（ロールアウト）が限られているため、分野ごとにどう配分するかです。

著者らは、既存のベースライン手法を2つ説明しています。1つ目のFixedは、コーパスの規模に基づく固定比率で各分野のサンプルを使い、配分を調整しません。2つ目のD3-MOPDは、教師モデルと生徒モデルの逆KLダイバージェンス、およびその直近の低下量を使って、配分比率を動的に調整します。しかしD3-MOPDでは、最近急速に改善している分野が優先され、学習の遅い分野には例が不足する可能性があります。

提案手法：局所的なミニマックスゲームとナッシュ均衡

Nash-MOPDは、分野への配分を局所的なミニマックスゲームとして定式化し、この課題に対処します。このゲームの均衡は、局所モデルにおける逆KLダイバージェンスの予測上の相対的な減少幅の最小値を最大化します。つまり、改善の遅い分野に十分な配分が行われるようにします。簡単に言えば、同程度の改善を達成するために多くの例を必要とする分野に、より多くのプロンプトを割り当てる手法です。

著者らによると、Nash-MOPDは教師モデルへの追加クエリや追加のロールアウトを必要としません。学習過程ですでに得られる逆KLダイバージェンスの統計量を利用します。

実験結果

実験では、DeepSeek-R1-Distill-Qwen-1.5BとQwen3-8B-Baseの2つのベースモデルが使われました。著者らは、学習100ステップ後の結果を報告しています。DeepSeek-R1-Distill-Qwen-1.5Bでは、Nash-MOPDは数学とコードの両方で、100ステップ後にFixedとD3-MOPDの最終結果を上回りました。Qwen3-8B-Baseでは、100ステップ後にFixedの最終結果と同等の成績でした。

全体の比較では、Nash-MOPDは報告された9項目の指標のうち8項目で最高となり、数学とコードの正解率に関する6項目すべてで最高、または最高値と同率でした。文書には指標の具体的な数値は記載されておらず、概要からは確認できません。

文書に記載されていないこと

入手できるテキストはarXivの概要のみです。詳細な結果表、教師モデルのアーキテクチャ、使用データセットの一覧、計算コストの分析、MOPD以外の手法との比較は含まれていません。詳しい手法やアブレーション実験の内容は、提供されていない論文PDFの全文に記載されている可能性があります。

この研究から考えられること

これは査読前の初期段階のプレプリントであり、結果は慎重に見る必要があります。学習の遅い分野を、すでに速く伸びている分野よりも保護するためにナッシュ均衡を使うという発想は、概念的に筋が通っているように思えます。教師モデルへの追加クエリが不要な点から、計算コストの面でも効率的です。全文の結果でも100ステップ後の優位性が確認されれば、複数の専門データセットを使って1つのモデルを学習させる場面で、Nash-MOPDを採用する有力な根拠になるかもしれません。ただし、現時点では概要しか確認できず、絶対値でどれほどの差があるかは分かりません。

出典： arXiv cs.AI：Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation（2026年10月20日付の文書）。この記事は文書の全文に基づいており、他メディアの報道をまとめたものではありません。

// 続きを読むAlphaEarth Foundationsとは？衛星画像で世界の森林タイプを分類AIの動向AIエージェント6種が鉄道の返金を試みるも失敗、187通送信AIの動向Ravenとは？室内写真1枚から自宅を特定するAIの危険性AIの動向