AI用語集 / Token

⚙️ 技術

トークンは、言語モデルが扱う基本単位です。通常は単語より短いテキストの断片を指します。英語では平均して1単語あたり1トークンを少し超えますが、日本語では文字や表記の特性により、同じ内容でもトークン数が多くなることがあります。 AIの世界では、トークンが通貨のような役割を果たします。コンテキストウィンドウ、利用上限、API料金（入力・出力それぞれ100万トークンあたりの料金）は、トークン数で計算されます。ツールに「テキストが長すぎます」と表示された場合、文字数ではなくトークン数のことです。