AI用語集 / MoE (Mixture of Experts)

🏗️ モデルと学習

Mixture of Experts（専門家混合）は、多くの専門化したサブネットワーク（「専門家」）で構成され、問い合わせごとにその一部だけを有効化するアーキテクチャです。モデル全体では膨大な数のパラメーターを持ちながら、高速かつ低コストで動作できます。一度に動くのは、その一部だけだからです。 近年の主要モデル、特にオープンモデルの多くにMoEが採用されています。ユーザーにとっては技術的な詳細ですが、数千億ものパラメーターを持つモデルが驚くほど速く回答できる理由を説明してくれます。