AI用語集 / トークン化

⚙️ 技術

トークン化とは、モデルの学習時に定められた辞書に基づいて、テキストをトークンに分割する処理です。よく使われる単語は1つのトークンになり、珍しい単語は小さな断片に分割されます。そのため、珍しい名前や誤字のある単語は多くのトークンに分かれます。 トークン化の仕組みを知ると、モデルが単語の文字数を数えるのを苦手とすること、わずかな表記の違いに敏感なこと、言語によって料金が異なることなどを理解しやすくなります。実用上は、簡潔で整ったテキストほどトークン数が減り、コストを抑え、コンテキストを有効に使えます。