AI用語集 / Overfitting

🏗️ モデルと学習

過学習とは、モデルが一般的なパターンを学ぶ代わりに、学習データを「丸暗記」してしまう状態です。見たことのあるデータにはうまく対応できますが、新しいケースには弱くなります。機械学習全般でよく知られた問題です。 大規模言語モデルでは、学習時に見た文章を一字一句そのまま再現するなどの形で現れます。データに十分な多様性を持たせ、正則化の手法を使い、学習時に見ていないデータでモデルをテストすることで防ぎます。