日本語の文章は割高。その理由と金額がわかります

ご自身のテキストで試す

なぜこうなるのか

トークン辞書は学習テキストの統計から作られており、英語が大半を占めています。よく使われる英単語には専用のトークンがあります。一方、日本語の単語は、特に活用形や語尾が付くと、専用のトークンがないことが多く、2つ、3つ、あるいは4つに分割されます。その結果、同じ内容でもコストが高くなり、コンテキストウィンドウも早く埋まります。

「コンテキストを占める割合」は、このテキストだけでモデルのウィンドウの何％が埋まるかを示します。ウィンドウの半分を超えるあたりから、仕様上の説明にかかわらず回答の質が低下し始めます。