AI用語集 / 蒸留
🏗️ モデルと学習
蒸留
大きなモデルの回答をもとに小さなモデルを学習させ、「生徒」に「教師」の能力を引き継がせる方法。
知識蒸留は、小さなモデル（「生徒」）に大きなモデル（「教師」）の回答をまねさせる学習技術です。小さなモデルを生のデータで一から学習させるのではなく、大きなモデルの出力を学習に使うことで、サイズを大幅に抑えながら能力の多くを引き継がせます。 大規模な用途向けに、高速で低コストのモデルを作る標準的な方法です。一方、他社の非公開モデルをAPI経由で蒸留する行為には議論があり、多くの提供元は利用規約で明確に禁止しています。