AI用語集 / Inference

⚙️ 技術

Inference（推論）とは、学習済みモデルを実際に使う段階です。モデルが質問を受け取り、トークンを一つずつ生成して回答します。これは、膨大なデータを使って事前に一度行われる学習とは異なります。 AIサービスの運用コストの大半は推論にかかるため、提供事業者は量子化や高性能なハードウェア、MoEのようなアーキテクチャで効率化を図ります。チャットがリアルタイムで回答を書き出すとき、通常はストリーミング方式で推論が行われています。