AI用語集 / 量子化

🏗️ モデルと学習

量子化は、モデルを軽量化する技術です。重みを低い数値精度（たとえば16ビットではなく4ビット）で保存することで、ファイルのサイズを数分の一に抑え、計算も高速化できます。その代わり、わずかな品質低下が生じることがありますが、多くの場合は気にならない程度です。 量子化のおかげで、大規模なオープンモデルを一般的なパソコンのGPUやノートパソコンでも動かせます。量子化モデルの形式はセルフホスティングのコミュニティで広く使われており、AIをローカルで動かすための基盤となっています。