AI用語集 / Streaming
⚙️ 技術
Streaming
回答をトークンごとにリアルタイムで送信する仕組みです。チャットが画面上で「書き進める」のはこのためです。
Streaming（ストリーミング）とは、生成が完了するまで待って回答全体を送るのではなく、モデルが回答をトークンごとに順次送信する方式です。これにより、チャットは人がキーボードで入力するように画面上で「書き進め」ます。 見た目の効果だけでなく、実用面でもメリットがあります。ユーザーはすぐに読み始められるため、体感の遅延が小さくなります。また、長い回答を途中で止めて、時間やコストを節約できます。APIでは、自作アプリを構築する際の標準的なオプションです。