本文へ移動
話題

ベンチマーク

LLMの代わりに判断モデルを使うと、100万件の分類コストはいくら?

Artificial Analysisのデータとポーランド語の問い合わせを使ったテストから、判断モデルとLLMの100万件あたりのコストを比較します。

執筆: 読了時間:2分

👁 117閲覧数

回答が決まった選択肢の中にあり、1日に何千件もの判断を処理するなら、LLMの代わりに判断モデルを使うことでコストを抑えられます。Artificial Analysisの2026年10月13日の測定では、100万件の分類にかかる費用は、最安クラスの判断モデルで12.1〜22.8 USD、Claude Haiku 5.5で91.5 USDでした。ポーランド語の問い合わせを使った私のテストでは、Microsoft-Decision-1とClaude Haiku 5.5を組み合わせ、不確実なケースだけを後者に回すと、Haiku単体と同じ正解数を保ちながら費用を5.5分の1にできました。ここでは計算の詳細と、すぐに使える計算スクリプト、注意点を紹介します。

要点

  • 向いている用途: 問い合わせの分類、ルーティング、モデレーション、エージェントが使うツールの選択、品質チェックなど、回答の選択肢が限られ、処理件数が多いタスク。
  • 向いていない用途: 文章の生成や一般知識が必要な場合、質問が自由形式の場合、1日の判断件数が数十件程度の場合。
  • 私のテストでの100万件あたりの費用: ポーランド語の問い合わせでは、判断モデルが4.1〜27.3 USD、Claude Haiku 5.5(low)が100.8 USD。
  • おすすめの構成: カスケード方式。判断モデルが確信できるケースを処理し、不確実なケースはLLMまたは人に回します。

判断モデルの仕組みやランキングで上位になったモデルについては、AI判断モデルのガイドとDecision Indexの解説で紹介しました。この記事では費用に絞って計算します。

判断モデルが向いているケース

次の5つの条件を確認してください。満たす条件が多いほど、節約効果が大きくなります。

  • 回答が決まった選択肢の中にある。 部門、カテゴリー、はい・いいえ、評価スケール、ツール名などが該当します。文章が必要なら、判断モデルでは生成できません。
  • 判断件数が多い。 1日100件なら、月に節約できるのは数セント程度です。動いているコードを変更する価値はあまりありません。1日1万件なら、月に数十万件の判断を処理することになります。
  • 判断に必要な情報が入力に含まれている。 問い合わせ内容、注文データ、顧客履歴などです。入力にない知識を問う質問では、AAによると判断モデルの正解率は28〜41%、Claude Haiku 5.5は52%です。
  • 応答速度が重要。 AAの測定では、1件あたりの中央値は63〜500ミリ秒。小型LLMでは1.4〜1.5秒です。各ステップで複数の判断をするエージェントでは、この差が効いてきます。
  • 確信度に基づくしきい値を設定したい。 判断モデルは選択肢ごとの確率を返すため、不確実なケースを簡単に別の処理へ回せます。

比較1: Artificial Analysisで見る100万件の分類コスト

Artificial Analysisは、テストごとに費用を公表しています。一般的な分類に近いのはWildGuardTestです。依頼と回答が有害かどうかをモデルが判定します。以下は2026年10月13日時点の、100万件あたりの費用とスコア(F1)です。

モデル スコア 100万件の分類コスト
Decider v1.1 27B 93.8 12.1 USD
Microsoft-Decision-1 88.2 12.5 USD
Mercury Decide 88.0 12.6 USD
Celeris-1 Decision 93.3 16.0 USD
Clef-Flash 90.9 17.0 USD
d1 90.9 20.9 USD
Jev 1.13 93.6 22.8 USD
GLiDE 95.1 84.3 USD
GPT-6 Luna (low) 88.5 66.3 USD
Claude Haiku 5.5 (low) 92.6 91.5 USD
Claude Opus 5.5 (low) 93.5 3774 USD

この分類では、Decider v1.1 27BとJev 1.13はClaude Haiku 5.5より高いスコアで、費用はそれぞれ約7.6分の1、約4分の1です。Claude Opus 5.5はHaikuをわずかに上回る程度ですが、費用は41倍です。この種のタスクに大規模モデルを使うと、単純に割高になります。

比較2: 私がポーランド語の問い合わせで行ったテスト

2026年10月13日、OpenRouterを使い、ポーランド語のECサイト問い合わせ50件を処理しました。1回のリクエストで、7つの選択肢から部門を選び、緊急度も判定させています。費用はOpenRouterの請求データからリクエストごとに計測し、100万件あたりに換算しました。正解率は、明確な正解を設定できた47件を対象にしています。残り3件では、すべてのモデルが私の正解キーとは異なる部門を選びました。詳細はガイドを参照してください。

モデル 部門の正解数(47件中) 100万件の問い合わせコスト
Mercury Decide(プロモーション価格) 44 4.1 USD
Decider v1.1 27B 44 8.2 USD
Clef-Flash 44 11.0 USD
Microsoft-Decision-1 44 11.8 USD
d1 42 13.4 USD
Clef 44 25.4 USD
Jev 1.13 41 27.3 USD
GPT-6 Luna Decisions 42 51.1 USD
Claude Haiku 5.5 (low) 45 100.8 USD

トークン単価が似ているモデル同士でも、費用に差が出る理由は次のとおりです。

  • トークナイザー。 同じポーランド語の問い合わせと質問でも、平均トークン数はMercury Decideで205、Microsoft-Decision-1で280、Jevで650でした。
  • LLMには長いプロンプトが必要。 Claude Haiku 5.5にはシステム指示とJSONスキーマを渡しました。問い合わせ1件あたりの平均は入力782トークン、出力45トークンです。出力トークンの単価は入力の5倍でした。
  • OpenRouter上のプロバイダー。 ClefとClef-FlashはCloudflareより安価なプロバイダー経由でした。Workers AIを使うと、費用はもっと高くなります。

カスケード構成なら、同じ正解数を低コストで実現できる

判断モデルは、選んだ選択肢への確信度を返します。最もシンプルな構成では、確信度が0.8以上ならその回答を採用し、0.8未満ならLLMに判断を回します。テスト結果を使い、2段目のモデルにClaude Haiku 5.5(low)を設定して計算しました。

構成(しきい値0.8) 部門の正解数(47件中) LLMに回す割合 100万件のコスト
Microsoft-Decision-1 + Haiku 45 6% 18.2 USD
Decider v1.1 27B + Haiku 44 11% 19.0 USD
Jev 1.13 + Haiku 45 17% 44.4 USD
Clef-Flash + Haiku 44 21% 32.5 USD
Claude Haiku 5.5のみ 45 100% 100.8 USD
  • Microsoft-Decision-1とHaikuの組み合わせでは、不確実な6%だけをHaikuに回しました。 Haiku単体と同じ正解数で、100万件あたり18.2 USDです。Haiku単体の100.8 USDと比べて5.5分の1の費用です。
  • Jev単体の正解数は最少の41件でしたが、確信度から誤りを見つけやすいモデルでした。 不確実な17%をHaikuに回すと、正解数は45件に増えました。
  • テストの規模には注意が必要です。 47件ではサンプルが少なく、1件の差は誤差の可能性があります。エスカレーション率としきい値は、少なくとも数百件の実データで決めてください。

比較3: 処理時間

費用だけがすべてではありません。AAのデータでは、1件あたりの処理時間の中央値はJevが127ミリ秒、Claude Haiku 5.5(low)が1434ミリ秒です。100万件を1件ずつ順番に処理すると、Jevでは約35時間、Haikuでは約400時間かかります。実際には並列処理できますが、その場合はプロバイダーのリクエスト上限が重要です。たとえばPerplexityは、組織あたり毎秒10リクエストを上限としています。エージェントが1つのステップでツール、緊急度、安全性を判断する場合、判断ごとに1.3秒の差があれば、ユーザーにも違いが伝わります。

すぐに使えるコスト計算スクリプト

トークン数と単価を入力すると、判断モデル、LLM、カスケード構成の費用を計算できます。初期値には私のテストの平均値(Microsoft-Decision-1とClaude Haiku 5.5)を設定しました。2026年10月13日に、Python 3.13を使って何も入っていないフォルダーで動作を確認しています。追加ライブラリーは不要です。初期値で実行すると、判断モデルは11.76 USD、LLMは100.70 USD、カスケードは17.80 USDで、節約率は82%です。

# 100万件の判断にかかる費用: 判断モデル、LLM、カスケード(2026年10月13日)
# 実行方法: python kalkulator_decyzji.py(Python 3.8以降、追加ライブラリー不要)

N = 1_000_000          # 判断件数
TOK_WEJ_DEC = 280      # 判断モデルの1件あたりの入力トークン数(自分の環境で測定)
CENA_DEC = 0.042       # 入力トークン100万個あたりのUSD(Microsoft-Decision-1、出力は0 USD)
TOK_WEJ_LLM = 782      # LLMの1件あたりの入力トークン数(プロンプト + スキーマ + 問い合わせ)
TOK_WYJ_LLM = 45       # LLMの1件あたりの出力トークン数(JSON + 推論)
CENA_LLM_WEJ = 0.10    # 入力トークン100万個あたりのUSD(Claude Haiku 5.5)
CENA_LLM_WYJ = 0.50    # 出力トークン100万個あたりのUSD(Claude Haiku 5.5)
ESKALACJA = 0.06       # 確信度のしきい値を下回り、LLMに回す判断の割合


def koszt_dec(n):
    return n * TOK_WEJ_DEC * CENA_DEC / 1e6


def koszt_llm(n):
    return n * (TOK_WEJ_LLM * CENA_LLM_WEJ + TOK_WYJ_LLM * CENA_LLM_WYJ) / 1e6


sam_dec = koszt_dec(N)
sam_llm = koszt_llm(N)
kaskada = koszt_dec(N) + koszt_llm(N * ESKALACJA)
print(f"判断モデル:             {sam_dec:8.2f} USD")
print(f"LLM:                    {sam_llm:8.2f} USD")
print(f"カスケード(LLMへ{ESKALACJA:.0%}): {kaskada:8.2f} USD")
print(f"カスケードの節約額:     {sam_llm - kaskada:8.2f} USD({1 - kaskada / sam_llm:.0%})")

トークン数は、実際の問い合わせを50〜100件送信し、APIレスポンスのusageフィールドを確認するのが簡単です。OpenRouterでは、このフィールドにUSDでの費用も含まれます。

見落としやすい追加コスト

  • 正解ラベル付きのサンプル。 確信度のしきい値を設定するには、正解が分かっている問い合わせが数百件必要です。人手で作業する場合、数時間かかります。
  • ポーランド語での調整。 私のテストでは、確率が0.5に近いケースで緊急度の判定を誤るモデルがありました。Microsoft-Decision-1はしきい値を0.5にすると、誤検知が8件発生しました。通常、しきい値0.5は適切ではありません。
  • 確信しすぎるモデル。 AAによると、すべての判断モデルは、特に知識を問う質問で、正解率から推測される以上の確信度を示します。分類タスクでは状況が比較的良いものの、自分のデータで確認してください。
  • 個人データ。 Jevはデータを米国で処理します。OpenAIとMicrosoftはEUでの処理を提供していますが、OpenAIは10%の追加料金がかかります。オープンモデル(Decider、Clef、d1-3B)は自社環境で動かせますが、その場合はGPUサーバーの費用が必要です。
  • システムが2つになる。 カスケード構成には、追加のコード、モニタリング、2種類の請求が伴います。処理件数が少ない場合は、節約よりもLLMを1つだけ使うシンプルさが重要かもしれません。

LLMを使い続けたほうがよいケース

  • 回答文や判断理由を生成する必要がある(例外: Celeris-1 Decisionは1文の理由を出力できます)。
  • 入力に含まれていない一般知識に基づいて判断する必要がある。
  • 選択肢の一覧が頻繁に変わる、または選択肢が非常に多く、明確に定義できない。
  • 判断件数が少ない。月1000件の場合、Claude Haiku 5.5の費用は約0.10 USDです。

複数のモデルを使うなら、私が運営するJantarisでGPT-6 Sol、Claude Opus 5.5、Gemini 3.6 Flash、DeepSeek V4、Veo 3.1、Nano Banana ProをUSD建てのプリペイド残高とAPIキー1つにまとめられます。月額契約は不要で、残高に有効期限はなく、生成に失敗した場合は$0です。詳しくはJantarisガイドへ。

よくある質問

判断モデルで100万件を分類すると、いくらかかりますか?

Artificial Analysisによると、上位の判断モデル(Decider v1.1 27B、Microsoft-Decision-1、Mercury Decide、Jev 1.13)では12.1〜22.8 USDです。Claude Haiku 5.5(low)は91.5 USDでした。短いポーランド語の問い合わせを使った私のテストでは、判断モデルが4.1〜27.3 USD、Haikuが100.8 USDでした。

判断モデルはLLMと同じくらい正確ですか?

分類やツール選択では、上位の判断モデルは小型LLMと同等か、それ以上の性能を示すことがあります。一方、一般知識を問う質問や難しい推論では、明確に劣ります。

モデルのカスケードとは何ですか?

低コストの判断モデルが確信度の高いケースを処理し、それ以外を高価なモデルまたは人に引き継ぐ構成です。私のテストでは、Microsoft-Decision-1とClaude Haiku 5.5を組み合わせ、不確実な6%をHaikuに回すと、Haiku単体と同じ正解数を、費用18%で実現しました。

1日に何件判断するなら、判断モデルへの切り替えがお得ですか?

一律の基準はありません。私のテストの費用を基準にすると、問い合わせ100万件あたり約73〜97 USDを節約できます。1日5万件、月150万件の場合、月あたり約110〜145 USDの節約です。応答時間も数分の1に短縮できます。

開示事項: Jevについては、以前の調査で知りました。9月に簡単なAPIクライアントを作成しています。TypeSafeはこの記事を依頼・出資していません。また、テストではすべてのモデルに同じタスクを与えました。

Google · あなたの情報源GoogleでKiramesuをもっと上位に表示-ワンクリックで設定お気に入りの情報源に追加 →

出典

// 関連記事も読む

Kiramesuの関連記事

Kiramesu

Kiramesu

著者・編集

AIを理解し、活用するためのガイド、検証記事、ニュースをお届けします。

次に読むガイドNotebookLMで勉強する方法:フラッシュカード・クイズ・音声要約NotebookLM(現Gemini Notebook)で、手持ちの資料からフラッシュカードやクイズを作る方法を紹介。無料プランの上限や、資料に基づいて出題させるプロンプトも解説します。

よく読まれている記事

  1. 1ChatGPT PlusとProの違いは?料金と選び方を解説
  2. 2basal-omni、JevBenchのオープンモデル首位に
  3. 3Claude Opus 5.5のデータ分析力を検証、44項目中43項目が正確

// サイトマップ

kiramesuの数字 0アーカイブの記事数0過去7日間のニュース件数
× ‹ 拡大 ›