AI用語集 / レイテンシー（遅延）

⚙️ 技術

Latency（レイテンシ）とは、質問を送信してからモデルが応答するまでの遅延です。実際には、回答の最初のトークンが出るまでの時間を測ることが一般的です。音声でのスムーズな会話やコードの自動補完では、ほんの一瞬の遅れも重要ですが、レポートの生成ではそれほど重要ではありません。 レイテンシは、モデルの規模、サーバーの負荷、プロンプトの長さ、動作モードによって変わります（推論モデルは目に見えて時間がかかります）。アプリ開発者は、すぐに応答するための高速モデルと、ユーザーが待つ価値のあるタスク向けの高性能モデルを使い分けることがよくあります。