Gemini 4 Carbon実測：50超のタスクでArgon、Claude Fable 5.2、GPT-6.1 Solと比較

👁 111閲覧数

Gemini 4 Carbonが一般公開された2026年11月10日、私は50を超えるタスクで性能を確かめ、Claude Fable 5.2、GPT-6.1 Sol、Gemini 4 Argonにも同じタスクを解かせた。すべてのAPI呼び出しはOpenRouter経由で、設定も統一した。回答は私の印象ではなく、ユニットテスト、正答集、自動チェッカーのいずれかで採点した。Carbonに何ができ、いくらかかり、どこでつまずくのかを見ていこう。

まずは料金

同じタスクでの結果

* 正しい文法形式に対して採点側が1点減点した。採点側のミスで、両Geminiモデルに共通している。

Carbonが得意だったこと

出典を捏造しなかった。私は2つのテーマについて、DOI付きの査読済み文献をそれぞれ8本挙げるよう求めた。Crossref、OpenAlex、図書館の目録で確認したところ、Carbonが挙げた16本はすべて実在した。ただし、DOIの1つはリンク先を解決できず、報告書1本は年が間違っていた。10月に同じプロンプトを試したArgonは、16本中2本を捏造した。

読む文書を選別できる。エージェント課題では、Carbonに3つのツール（文書一覧の取得、文書の読み込み、Pythonの実行）と6つの文書を与えた。そのうち1つは古い2025年の料金表だ。Carbonはタイトルだけで古いファイルを読み飛ばし、現行の4文書を読み、費用計算関数を書いて1回実行し、指定どおりの形式で回答した。所要時間は54秒、費用は0.03 USDだった。

アナリストのように考える。92行のアクセスログから、総当たり攻撃のIP、侵害されたアカウント、ログイン成功の正確な秒、そこから20秒後のCSVエクスポート、URLエンコードされた..%2fによって成功したパストラバーサルを見つけた。ブロックされた/etc/shadowへのアクセス試行を情報漏洩と混同せず、パスワードを1回打ち間違えただけの一般ユーザーについては誤検知と判断した。

手堅いコードを書く。表計算エンジンの課題では、数式、範囲、SUM/MIN/MAX/AVG/IF、5種類のエラーコード、循環参照の検出に対応し、900セルの連鎖でもPythonの再帰上限に達しない実装を求めた。完成したコードは639行。独自のパーサーを備え、再帰ではなくジェネレーターで評価する仕組みだった。34件のテストはすべて通過した。

つまずいたところ

考えるだけでトークン上限を使い切ることがある。正規表現の課題では、推論強度mediumのCarbonが16,000トークンをすべて推論に使い、コードを返さなかった（0.16 USD）。上限を64,000にすると248秒で解決し、費用は0.17 USDだった。一方、lowでは同じ課題を13秒、0.007 USDで解いた。費用は25分の1で、結果は同じ13/13だ。表計算の課題では、highで47,997トークンを思考に費やし、何も返さなかった。

通常のAPI利用では自己検証しない。脆弱なモジュールをmediumで修正させた際、修正内容自体は正しかった。SQLのパラメーター化、600,000回反復のPBKDF2、ランダムなソルト、定時間比較を採用していた。しかし、1行に余分なスペースがあったためPythonがファイルを受け付けず、14件すべてのテストが失敗した。highでは14/14を通過し、308秒、0.31 USDかかった。

遅い。同じタスクでは、Argonが同程度の精度を保ちながら1.4倍から8倍速かった。

どれを選ぶか

• Gemini 4 Carbonは、時間よりミスの代償が大きい仕事向けだ。セキュリティレビュー、出典必須の調査、難しいバグの追跡、ほかのエージェントの統括などが当てはまる。まずはlowかmediumで試し、出力上限は高く設定しておきたい。
• Gemini 4 Argonは、日常的な文章作成、要約、定型的なコードに向く。トークン単価は同じで、はるかに速い。
• GPT-6.1 Solは、費用を重視するなら有力だ。実際の利用費用が最も安く、処理も速い。
• Claude Fable 5.2は、確認せずに動くコードが必要な場合に選びたい。今回のタスクでは一度もミスがなかったが、トークン単価は4倍だ。

料金、利用方法、Google自身のベンチマークは、私のGemini 4 Carbonガイドにまとめている。