Gemini 4 Carbon実測：50超のタスクでArgon、Claude Fable 5.2、GPT-6.1 Solと比較
Gemini 4 Carbonを50超のタスクで試し、Argon、Claude Fable 5.2、GPT-6.1 Solと同条件で比較した。出典確認や分析では強さを見せた一方、速度と推論トークンの使い方には課題が残った。
👁 111閲覧数
Gemini 4 Carbonが一般公開された2026年11月10日、私は50を超えるタスクで性能を確かめ、Claude Fable 5.2、GPT-6.1 Sol、Gemini 4 Argonにも同じタスクを解かせた。すべてのAPI呼び出しはOpenRouter経由で、設定も統一した。回答は私の印象ではなく、ユニットテスト、正答集、自動チェッカーのいずれかで採点した。Carbonに何ができ、いくらかかり、どこでつまずくのかを見ていこう。
まずは料金
| Gemini 4 Carbon | Gemini 4 Argon | Claude Fable 5.2 | GPT-6.1 Sol | |
|---|---|---|---|---|
| 1MトークンあたりのAPI料金（入力 / 出力） | 11月30日まで2 / 10 USD、その後4 / 20 | 11月30日まで2 / 10 USD、その後4 / 20 | 8 / 40 USD | 2 / 10 USD |
| コンテキストウィンドウ | 1,048,576 | 1,048,576 | 1,000,000 | 1,050,000 |
同じタスクでの結果
| タスク | Carbon | Argon | Fable 5.2 | GPT-6.1 Sol |
|---|---|---|---|---|
| 実務タスク23件（推論強度low） | 99.5%*, 0.23 USD, 264秒 | 99.5%*, 0.22 USD, 135秒 | 100%, 1.37 USD, 190秒 | 100%, 0.22 USD, 180秒 |
| エージェント：ひっかけを含む6文書、表、Pythonによる検証 | 10/10, 54秒 | 10/10, 38秒 | 10/10, 31秒 | 10/10, 20秒 |
| 表計算エンジンをゼロから実装、ユニットテスト34件 | 34/34, 0.47 USD, 518秒 | 34/34, 0.05 USD, 64秒 | 34/34, 0.82 USD, 201秒 | 34/34, 0.05 USD, 77秒 |
| 欠陥を8件仕込んだFlaskアプリのセキュリティレビュー | 8/8 | 8/8 | 8/8 | 8/8 |
| 侵入後のWebサーバーログ（SOC分析） | 7/7 | 7/7 | 7/7 | 7/7 |
| 脆弱なモジュールの修正、テスト14件（medium） | 0/14（インデントエラー） | 14/14 | 14/14 | 3/14（Windows限定の問題） |
| コーディング課題6件、ユニットテスト76件（medium） | 63/76 | 76/76 | 76/76 | 76/76 |
| 出典の捏造チェック：学術論文16本 | 捏造0本、軽微な誤り2件 | 捏造2本 | 捏造0本、誤り0件 | 捏造0本、誤り1件 |
| 画像認識：グラフ、表、レシートに関する10問 | 10/10 | 10/10 | 10/10 | 10/10 |
* 正しい文法形式に対して採点側が1点減点した。採点側のミスで、両Geminiモデルに共通している。
Carbonが得意だったこと
出典を捏造しなかった。私は2つのテーマについて、DOI付きの査読済み文献をそれぞれ8本挙げるよう求めた。Crossref、OpenAlex、図書館の目録で確認したところ、Carbonが挙げた16本はすべて実在した。ただし、DOIの1つはリンク先を解決できず、報告書1本は年が間違っていた。10月に同じプロンプトを試したArgonは、16本中2本を捏造した。
読む文書を選別できる。エージェント課題では、Carbonに3つのツール（文書一覧の取得、文書の読み込み、Pythonの実行）と6つの文書を与えた。そのうち1つは古い2025年の料金表だ。Carbonはタイトルだけで古いファイルを読み飛ばし、現行の4文書を読み、費用計算関数を書いて1回実行し、指定どおりの形式で回答した。所要時間は54秒、費用は0.03 USDだった。
アナリストのように考える。92行のアクセスログから、総当たり攻撃のIP、侵害されたアカウント、ログイン成功の正確な秒、そこから20秒後のCSVエクスポート、URLエンコードされた..%2fによって成功したパストラバーサルを見つけた。ブロックされた/etc/shadowへのアクセス試行を情報漏洩と混同せず、パスワードを1回打ち間違えただけの一般ユーザーについては誤検知と判断した。
手堅いコードを書く。表計算エンジンの課題では、数式、範囲、SUM/MIN/MAX/AVG/IF、5種類のエラーコード、循環参照の検出に対応し、900セルの連鎖でもPythonの再帰上限に達しない実装を求めた。完成したコードは639行。独自のパーサーを備え、再帰ではなくジェネレーターで評価する仕組みだった。34件のテストはすべて通過した。
つまずいたところ
考えるだけでトークン上限を使い切ることがある。正規表現の課題では、推論強度mediumのCarbonが16,000トークンをすべて推論に使い、コードを返さなかった（0.16 USD）。上限を64,000にすると248秒で解決し、費用は0.17 USDだった。一方、lowでは同じ課題を13秒、0.007 USDで解いた。費用は25分の1で、結果は同じ13/13だ。表計算の課題では、highで47,997トークンを思考に費やし、何も返さなかった。
通常のAPI利用では自己検証しない。脆弱なモジュールをmediumで修正させた際、修正内容自体は正しかった。SQLのパラメーター化、600,000回反復のPBKDF2、ランダムなソルト、定時間比較を採用していた。しかし、1行に余分なスペースがあったためPythonがファイルを受け付けず、14件すべてのテストが失敗した。highでは14/14を通過し、308秒、0.31 USDかかった。
遅い。同じタスクでは、Argonが同程度の精度を保ちながら1.4倍から8倍速かった。
Google · あなたの情報源GoogleでKiramesuをもっと上位に表示-ワンクリックで設定お気に入りの情報源に追加 →どれを選ぶか
- Gemini 4 Carbonは、時間よりミスの代償が大きい仕事向けだ。セキュリティレビュー、出典必須の調査、難しいバグの追跡、ほかのエージェントの統括などが当てはまる。まずはlowかmediumで試し、出力上限は高く設定しておきたい。
- Gemini 4 Argonは、日常的な文章作成、要約、定型的なコードに向く。トークン単価は同じで、はるかに速い。
- GPT-6.1 Solは、費用を重視するなら有力だ。実際の利用費用が最も安く、処理も速い。
- Claude Fable 5.2は、確認せずに動くコードが必要な場合に選びたい。今回のタスクでは一度もミスがなかったが、トークン単価は4倍だ。
料金、利用方法、Google自身のベンチマークは、私のGemini 4 Carbonガイドにまとめている。
Kiramesuの関連記事
ガイド·同じ民法第四条に「二十歳」と「十八歳」。e-Govで過去の引用を確かめる👁 111閲覧数 過去の記事で法令を引用するときは、法令名と条番号に加えて、いつの条文を指すかを先に決める。