Gemini 4 Carbonのベンチマーク結果：17項目を比較
Google公表の17項目のベンチマーク結果を一覧で紹介。Gemini 4 Carbonが首位を逃した2項目や、結果を見る際の注意点も解説します。
👁 115閲覧数
GoogleはGemini 4 Carbonの発表にあわせて、17項目のベンチマーク結果を公開しました。CarbonはGemini 4 Argon、GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1と比較されています。私は一覧をすべて整理し、各テストが測る内容とCarbonが首位を逃した項目をまとめました。以下はメーカーが公表した結果です。CarbonはFairwindプログラムでのみ利用できるため、私は実機テストを行っていません。
ベンチマーク結果一覧：17項目中15項目でCarbonが首位
各行の太字は最も高い結果です。ダッシュは、そのモデルの結果が公表されていないことを示します。
| テスト | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| Artificial Analysis Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 | 70.4% | 69.2% | 65.0% | 70.2% | - |
| SWE-sweep | 9.6% | 4.3% | 9.5% | 3.6% | 2.9% |
| FrontierSWE 2 | 61.2% | 55.0% | 65.5% | 62.3% | 56.3% |
| Terminal-Bench 4.0 (AA) | 65.2% | 57.1% | 59.1% | 59.6% | 52.0% |
| Agents’ Last Exam v1.1 | 77.4% | 69.0% | 73.1% | 71.6% | - |
| OSWorld-2.1 (オフライン) | 81.5% | 74.7% | 80.9% | 87.2% | 76.8% |
| AutomationBench (Zapier) | 53.9% | 51.3% | 41.4% | 42.5% | 31.4% |
| Vending-Bench 2 (残高、USD) | 16,484 | 13,718 | 15,515 | 9,235 | 5,422 |
| Chartography | 72.5% | 71.6% | 71.0% | 66.3% | 46.2% |
| Blueprint-Bench 2 | 58.6% | 54.4% | 49.7% | 51.2% | 41.9% |
| GraphWalks 256k-1M | 96.2% | 84.2% | 71.8% | 66.8% | 65.0% |
| RiemannBench | 80.0% | 76.0% | 72.0% | 69.6% | 65.6% |
| Terminal-Bench-Science 0.1 (AA) | 64.8% | 52.9% | 63.3% | 59.0% | 43.3% |
| CWE-bench | 71.0% | 68.0% | 68.0% | 67.0% | 58.0% |
| ExploitGym | 54.8% | 42.0% | 42.4% | 34.5% | - |
| SEC-bench Pro | 88.2% | 83.4% | 85.4% | - | - |
Carbonが首位を逃したのは2項目だけです。FrontierSWE 2ではGPT-6 Astra（65.5%）とClaude Opus 5.5（62.3%）が上回り、OSWorld-2.1ではClaude Opus 5.5（87.2%）が首位でした。
各ベンチマークの内容をわかりやすく解説
総合的な能力
- Artificial Analysis Index v5.0 - 複数のテストを組み合わせた独立系ランキングで、バージョン5.0ではツールも評価対象です。Carbonは59点、Opus 5.5は58点、GPT-6 Astraは57点です。Googleではなく第三者が算出した総合指標で、Carbonのリードはわずか1点です。
- Vals Index v2.2 - Vals AIが作成した、業務タスクの総合インデックスです。Carbonは70.4%、Opus 5.5は70.2%で、ほぼ同じ結果です。
プログラミング
- SWE-sweep - すべてのモデルが1桁台のスコアとなる、難度の高いプログラミング課題です。Carbonは9.6%、GPT-6 Astraは9.5%。Googleはmini-swe-agentを使ってCarbonを独自に測定し、競合モデルの結果は公開ランキングから引用しています。
- FrontierSWE 2 - Proximalの公開ランキングに掲載されたエンジニアリング課題です。ここではGPT-6 Astraが65.5%で首位となり、Carbonは61.2%でした。Opus 5.5も62.3%でCarbonを上回っています。
- Terminal-Bench 4.0 - ターミナル上で作業するエージェントを評価するテストで、Artificial Analysisの結果です。Carbonは65.2%を記録し、Opusを約6ポイント上回りました。Google以外が測定した結果であるため、プログラミング関連では特に注目できる数値です。
コンピューター操作
- Agents’ Last Exam v1.1 - 5時間の制限時間内にエージェントが122のタスクに取り組みます。Carbonは77.4%でした。GoogleがCarbonを独自に測定し、AstraとOpusの結果は公開ランキングから引用しています。
- OSWorld-2.1 - インターネットに接続せず、82のタスクでスクリーンショットだけを手掛かりに、実際のシステムを操作するモデルを評価します。Opus 5.5が87.2%で首位、Carbonは81.5%でした。ウィンドウ型アプリを操作するエージェントを作る場合、このテストではClaudeが依然として優位です。
オフィス業務とビジネス
- AutomationBench - Zapierのような自動化タスクを評価します。Carbonは53.9%。Opus 5.5とGPT-6 Astraは約42%で、Carbonに差をつけられています。
- Vending-Bench 2 - モデルが長期間にわたって仮想の自動販売機を運営し、最終的な残高を競います。Carbonは16,484 USDを稼ぎ、Opus 5.5は9,235 USDでした。複数のステップを通じて戦略を維持する能力が表れるテストです。
画像とグラフ
- Chartography - ツールを使わずにグラフを読み取る能力を評価します。Carbonは72.5%で、Argonの71.6%をわずかに上回りました。
- Blueprint-Bench 2 - 図面や設計図を理解する能力を、類似度スコアで評価します。Carbonは58.6%でした。
長いコンテキスト
- GraphWalks 256k-1M - 256,000から100万トークンの長さのテキストで記述されたグラフを、モデルがたどるテストです。Carbonは96.2%で、競合の最高値であるGPT-6 Astraの71.8%を大きく上回りました。この表で最も大きな差です。ただし、ここではGoogleがすべてのモデルの結果を独自に算出しています。
科学と数学
- RiemannBench - Surgeの公開ランキングに掲載された数学の問題です。Carbonは80.0%でした。
- Terminal-Bench-Science 0.1 - ターミナル上で科学関連の課題に取り組むテストです。結果はArtificial Analysisによるもので、Carbonは64.8%、GPT-6 Astraは63.3%でした。
サイバーセキュリティ
- SEC-bench Pro - JavaScriptエンジンにある実際の脆弱性を見つけるテストで、課題数は183です。Carbonは88.2%、GPT-6 Astraは85.4%でした。
- ExploitGym - 脆弱性を実際に悪用できるかを評価します。Carbonは54.8%で、Astraの42.4%を12ポイント以上上回りました。
- CWE-bench - 脆弱性の根本原因を修正する能力を評価します。ランキングはCollinearが運営しています。Carbonは71.0%、ArgonとAstraはともに68.0%でした。
ExploitGymとSEC-bench Proは、GoogleがAntigravity環境で独自に実施しました。インターネット接続はなく、モデルの安全機能は無効にされています。競合モデルの数値は各社の報告から引用したもので、同一の条件で実施した結果ではありません。
ベンチマーク結果を見るときの注意点
- 誰が測定したか。Artificial Analysis、Vals、Surge、Zapier、Andon Labs、Collinearによる独立系ランキングがある一方、SWE-sweep、Agents’ Last Exam、OSWorld、GraphWalks、ExploitGym、SEC-bench ProはGoogleが独自に測定しています。Carbonの大きなリードは、Googleが測定したテストで目立ちます。
- 測定条件。CarbonとArgonはGemini APIを使い、思考設定を最も高くして各テストを1回実行しました。競合モデルも通常は各社の最高設定ですが、数値は各社の報告に基づいています。
- 小さなスコア差。Artificial AnalysisではCarbonが59、Opusが58、Astraが57です。この程度の差は、ランキングの次回更新で簡単に逆転する可能性があります。
ArgonとCarbonの差が大きいのは、長いコンテキスト（GraphWalks）、科学（Terminal-Bench-Science）、サイバーセキュリティ（ExploitGym）です。料金や提供状況はGemini 4 Carbonの概要、日本での提供時期はGemini 4 Carbonは日本でいつ使える？をご覧ください。
Google · あなたの情報源GoogleでKiramesuをもっと上位に表示-ワンクリックで設定お気に入りの情報源に追加 →出典と確認日
- Google DeepMind: Gemini 4 Carbon - Model evaluation、方法と結果（PDF）、2026年10月28日
- Google: Gemini 4 Carbon: our next frontier model、2026年10月28日
- Artificial Analysis Intelligence Index
2026年10月30日に確認。
Kiramesuの関連記事
