Claude Fable 5.2を検証：コード・ポーランド語・推論・速度を比較

👁 111閲覧数

2026年11月9日月曜日の20時20分、Claude Fable 5.2に最初の質問を送りました。モデルはすでにOpenRouterでanthropic/claude-fable-5.2というIDで提供されており、価格は入力100万トークンあたり8ドル、出力100万トークンあたり40ドルでした。17×23の計算には3秒。続く27分間、同じ課題セットをこのモデルと3つの競合モデルに与えました。単体テストで確認するコード、答えが1つに決まる謎、ポーランド語の文章、画像、速度の測定です。予想外だったのは、正解が明確な課題では全モデルが満点で並んだこと。差が出たのは計算、速度、そして得点率より多くを語る小さなミスでした。

今回のテストにMythos 5.2は含まれていません。テストの開始時と終了時にモデル一覧を確認しましたが、OpenRouterでは見つかりませんでした。AnthropicはCyber Verification ProgramとLife Sciences Verification Programの参加者に限って提供しています。発表によると、Fable 5.2とMythos 5.2は同じベースモデルを使い、サイバーセキュリティと生物学に関する安全対策が異なります。そのため、Fable 5.2の結果は、一般ユーザーが現在利用できるモデルの性能を示す参考になります。発表内容や2つのモデルの違いについては、Claude Fable 5.2の解説とMythos 5.2の記事で紹介しました。

テストした内容

4モデルに、同じ内容の27課題をOpenRouter経由で与え、推論設定はすべて「medium」にそろえました。AnthropicがClaudeアプリでFable 5.2のデフォルトに設定している水準です。比較対象は、Anthropicの前世代フラッグシップであるClaude Opus 5.5と、Opusと同価格帯で人気の高いOpenAIのGPT-6.1 Sol、GoogleのGemini 4 Argonです。

• コード、6課題: 時間表記（「2h15m10s」）のパーサー、壁を1回だけ壊せる迷路の最短経路（最大300×300マス）、壊れたLRUキャッシュの修正、動作を変えずに請求額を計算する関数のリファクタリング、日付を探す正規表現（「2026年11月9日」に相当するポーランド語表記も含む）、罠のあるSQLクエリ（割引、明細のない注文、大文字表記の「PAID」）。Pythonでローカル実行したテストは計76件。
• 推論、8つの謎正直者と嘘つき、火曜日生まれの少年、時計の針、割り算の余り、2027年の13日の金曜日、そしてポーランド語のひっかけ問題2問（ポーランド語原文の翻訳：「半ダースのダースを半分で割る」と、ポーランド語原文の翻訳：「黄色く染めよ、グースリの調べで自我を」に含まれる文字の数を数える問題。該当の派生文字は数えない）。
• ポーランド語、文章3本: 税務署への所得税還付の遅れに関するメール、70語以内の記事要約、広告の決まり文句を避けたコーヒー焙煎店の紹介文。
• 画像認識、画像3枚: Pythonで作成した棒グラフ、表計算ソフトの表のスクリーンショット、傾きとノイズを加えたレシート画像。質問は計10問。
• 速度: 500語のエッセイ、優先度付きキューのコード、翻訳の3種類のプロンプトを各2回ストリーミングで実行し、最初のトークンが出るまでの時間を測定。

最初のラウンドで全モデルが満点を取ったため、難易度を上げた課題も追加しました。正確な分数を扱う式計算機のテスト33件（「-2^2 = -4」「2^3^2 = 512」などの罠を含む）、金額をポーランド語の請求書形式で書くテスト27件（「千一ズウォティ」「二十二ズウォティ」「十万一千」など）、さらに推測では解けない課題5問です。後者は、2027年のポーランドの営業日数（この年から休日となるクリスマスイブを含む）、KAJAKARZの文字の並べ方、5桁の素数回文、司会者が車の場所を知らないモンティ・ホール問題、2026年11月9日から数えて1000日目の日付です。

結果：正解が1つの課題では全モデルが同点

* Geminiは毎回、JSONをMarkdownのコードブロックで囲みました。** 評価者はGPT-6.1 Solで、自分の文章も評価しています。詳しくは後述します。コストは2026年11月9日時点のOpenRouterの料金に基づき、各リクエストのAPI使用量から算出。

4モデルは、コードのテスト136件、謎13問、画像に関する質問10問のすべてに正解しました。コードを実行せず頭の中で数える必要がある素数回文（全部で93個）も、2027年の営業日数253日も正解です。傾きのせいで金額が商品名より半行ほど下にずれたレシートも、全モデルが正確に読み取りました。合計は20.67 USD、牛乳は1.93 USD、納税者番号と商品7点も認識できています。Fable 5.2は、どの課題でもOpus 5.5に劣りませんでしたが、上回ることもありませんでした。

だからといって、Fable 5.2に進歩がないわけではありません。Anthropicの発表では、長時間・多段階のエージェント型タスクで優位性が示されています。たとえば最高のeffort設定で、FrontierCode 2.0のスコアはFable 5.2が49.1%、Opus 5.5が45.5%でした。今回のテストで調べたのは、チャット画面への入力やAPIへの送信を想定した単発の指示です。最新世代のモデルは、こうした課題では性能の上限に達し、安価なGPT-6.1 Solも高価なFableと並ぶ結果になりました。

Fable 5.2の強みは速度

Anthropicは、Fable 5.2とMythos 5.2が5.1世代より最大30%速く回答を生成すると説明しています。発表された性能のうち直接検証できるものの1つだったため、速度測定にFable 5.1も加えました。

Anthropicの同じインフラで処理されたリクエストだけを比べると、Fable 5.2のエッセイ生成速度は毎秒101-103トークン、Fable 5.1は毎秒69トークンでした。コードでは毎秒135-141トークン対104トークンです。エッセイ全体の生成時間で見ると27%の高速化で、「最大30%」という説明の範囲内でした。Fable 5.2はOpus 5.5よりエッセイを2.7秒速く仕上げ、長文生成ではClaudeモデルの中で唯一Gemini 4 Argonに並びました（毎秒26.1語対25.6語）。

企業ごとにトークンへの分割方法が異なるため、トークン数/秒をモデル間で単純比較するのは注意が必要です。GPT-6.1 Solはエッセイに約1200トークンを使った一方、Claudeの各モデルは約1700トークンを使いました。そのため、語数/秒と生成時間のほうが重要です。最初のトークンが出るまでの時間はGPT-6.1 Solが最短の1.48秒でしたが、コード課題ではモデルが先に考えるため、8秒を超えることもありました。

コスト：トークン単価は2倍でも、課題の費用は2倍ではない

Fable 5.2のトークン単価はOpus 5.5の2倍です（入力・出力ともに8ドルと40ドルに対し、4ドルと20ドル）。ただし、今回の27課題にかかった費用はFable 5.2が0.75 USD、Opus 5.5が0.52 USDで、差は1.44倍でした。トークン数を見ると理由がわかります。Fable 5.2の出力トークンは16,434、Opus 5.5は23,839で、そのうち11,316トークンを推論に使っています（Fableは5,069トークン）。割り算の余りを問う謎ではOpusが749トークン、Fableが306トークンを生成しました。税務署へのメールでは、Opusは143語の文章に1662トークン、Fableは544トークンを使いました。

Fableは、正解が1つの課題でGPT-6.1 Solと同じ結果だったにもかかわらず、API料金は6.6倍です。自分でAPI料金を負担するなら、どのベンチマークの数値よりもこの差が重要かもしれません。

小さなミスからわかること

得点に差がないなら、興味深いのは各モデルのつまずきです。すべて手作業で確認しました。

Fable 5.2は法律の条文を取り違えた。テストで使ったポーランド語の税務署宛てメールで、還付期限が45日だとする根拠として、ポーランドの税法77条1項5号を挙げました。しかし、電子申告の45日という期限は5a号で、5号が定めるのは紙の申告に対する3か月以内の還付です（77条の本文）。興味深いことに、Opus 5.5は推論の中で、条文を具体的に引用するか、参照先を間違えないよう一般的な表現にとどめるか迷っていると明記し、一般的な表現を選びました。

Opus 5.5は日付を間違えた。同じメールで、2月14日から45日後の日付を計算し、還付期限は「2026年3月31日に過ぎた」と書きました。しかしポーランドの所得税法45条では、2月15日より前に提出した申告は2月15日提出として扱われるため、期限が過ぎたのはその1日後です。小さな違いですが、役所に送る文書ではこうした細部が、ほかの内容への信頼まで損ないます。

Fable 5.2は指定形式を守れなかった。表について、JSONだけで回答するよう指示しました。Fableはまず、数量×価格の計算結果10件と合計、税率8%の商品一覧を文章で出し、最後にJSONを付けました。内容は正しいものの、自動解析するプログラムなら失敗します。70語以内の要約では、Fableは71語、Gemini 4 Argonは80語でした。

Claudeの2モデルはブランド名を忘れた。「Ziarnko」というコーヒー焙煎店の紹介文では、Fable 5.2もOpus 5.5も店名を使いませんでした。さらに、指示になかった「各パッケージに焙煎日を記載する」という内容を追加。Fableは「実際にはない問い合わせ窓口」まで書き加えました。自然な文章に見えますが、店主が約束していないサービスを宣伝することになります。

ポーランド語の評価：評価者自身にも利害関係

ポーランド語の文章はGPT-6.1 Solが評価しました。4モデルの文章にはランダムにA-Dの記号を付け、課題ごとに順番を変えて2回評価しています。評価者には、言語上の誤りと修正案を挙げ、自然さと指示への適合度を1-10で採点するよう求めました。なお、テストしたのはポーランド語です。以下の結果は日本語の性能を示すものではありません。

評価者は、メールとマーケティング文でGPT-6.1 Solを、要約ではOpus 5.5を最上位にしました。どのモデルの文章かはわからない状態でしたが、モデルは自分と似た文体を好む傾向があるため、順位は慎重に見る必要があります。一方、手作業で確認した結果からは、2つの点がわかりました。Opus 5.5はポーランド語が最も正確で、3つの文章に誤りはありませんでした。Gemini 4 Argonは最も弱く、「所得税申告書」にあたる言葉を誤用したほか、「大きな違いをつくる」という直訳調の表現、顧客向けの文面での「私たち二人ともわかっています」、語数制限の超過がありました。Fable 5.2はその中間で、セミコロンにすべきところをカンマにした箇所が1つありました。マーケティング文の口調は最も人間らしい一方、指示にない約束も最も多く加えていました。「Ziarnko」の店名を使い、余計な内容を足さなかったのはGPT-6.1 Solだけです。

測定方法と、このテストでわからないこと

すべてのリクエストは2026年11月9日20時20分から20時47分までの間に、OpenRouter経由で送信しました。Fable 5.2はAnthropicのインフラ、Opus 5.5はClaude Platform on AWS、SolはOpenAI、ArgonはGoogle（一度だけGoogle AI Studio）で処理されました。Fable 5.1は一部の測定でAzureとGoogleに振り分けられたため、5.2との比較にはAnthropicが処理したリクエストだけを使っています。コードは時間制限を設けた別プロセスでローカル実行し、謎と画像認識の回答はスクリプトで確認した後、私自身も確認しました。各課題を実行したのは1回ずつ（速度測定は2回）なので、条件が変われば、今回正解した問題でモデルが間違える可能性があります。

評価者を含めたテスト全体のコストは2.92 USDでした。プロンプト、完全な回答、モデルが書いたコード、テスト結果、時間、トークン数、各リクエストの費用をまとめたデータは、wyniki.jsonで公開しています。発表内容や価格、メーカーのベンチマークはFable 5.2とMythos 5.2の発表記事にまとめました。価格とメーカーのベンチマークの比較はFable 5.2とOpus 5.5の比較、以前のモデルの比較はClaude Opus 5.5とFable 5.1の比較をご覧ください。

4つのモデルをテストした結果、チャットに入力するような単発の課題では、Fable 5.2はOpus 5.5にもGPT-6.1 Solにも勝る回答を出しませんでした。Opusより速く、出力トークンも少ない一方、料金は最も高くなります。発表でうたわれている強みは、1つの指示では測れない長時間のエージェント型作業にあります。そちらは別途テストする予定です。

よくある質問

Claude Fable 5.2はOpus 5.5より優れていますか？

今回の27課題では、正解が1つの問題は両モデルとも満点でした。Fable 5.2のほうが速く（エッセイは19.1秒、Opus 5.5は21.8秒）、使ったトークンも少なかった一方、費用は0.75 USD対0.52 USDでした。Anthropicが発表で示した優位性は、今回のテスト対象外である長時間のエージェント型タスクにあります。

Fable 5.2は本当にFable 5.1より30%速いのですか？

今回の測定では、500語のエッセイ生成にかかった時間は26.2秒から19.1秒に短縮され、27%速くなりました。Anthropicの同じインフラで比較すると、エッセイの生成速度は毎秒69トークンから101-103トークンに、コードでは104トークンから135-141トークンに上がりました。

Claude Mythos 5.2を試すことはできますか？

一般的な方法では試せません。Mythos 5.2はOpenRouterでは提供されておらず、AnthropicはCyber Verification ProgramとLife Sciences Verification Programを通じて提供しています。そのため今回のテストには含まれていません。

Fable 5.2のAPI利用料金はいくらですか？

入力100万トークンあたり8 USD、出力100万トークンあたり40 USDです。Opus 5.5の2倍の料金です。今回のテストでは、1課題あたりの平均費用は約2.8セントでした。GPT-6.1 Solは約0.4セントです。