GPT-6 Cyberの全ベンチマーク結果とシステムカード徹底解説

👁 111閲覧数

GPT-6 Cyberのシステムカードには10項目以上のテスト結果が記載されており、その大半が一貫した傾向を示しています。前世代モデルからは明確に進化し、ベースとなったGPT-6 Astraよりもわずかに向上しているものの、一般的なプログラミング能力ではAstraを上回っていません。公式発表およびシステムカードに掲載された数値を1か所に整理し、各テストが何を測定しているのかを解説します。なお、本記事のデータはすべてOpenAIの公表値に基づいています。利用権限はDaybreak Redプログラムで承認された特定の組織に限定されているため、筆者自身はモデルへのアクセス権を持っておらず、独自検証は行っていません。

エクスプロイト性能: 最も大きな飛躍

ExploitGymは、リモート環境のプログラムに存在する指定された脆弱性をモデルが悪用できるかを検証するテストです。コードを実行してフラグを取得し、なおかつ正規の脆弱性を突いた場合のみ正解と判定されます。OpenAIが公表した5つの構成データは、単なるスコア以上に興味深い示唆を与えてくれます。

通常のAstraが0%なのは、安全ガードレールにより実行を拒否するためです。同じAstraでもDaybreak Blueによって拒絶制限を一部緩和すると42.4%に達します。つまり能力の大半はベースモデルにすでに備わっており、サイバー特化の追加トレーニングによって上乗せされたのは約6ポイントでした。なおシステムカード記載の厳密な数値は48.45%と42.43%です。

セキュリティを強化したExploitGym Hardenedでは、ターゲットにアドレス空間配置のランダム化（ASLR）、スタックカナリア、V8サンドボックス、厳格なカーネル設定が施されています。この環境下でCyberは36.94%、Astraは29.69%を記録しました。ターゲットが堅牢になるほど両者の差が広がっています。

RemoteExploitBenchはOpenAIによる新しいテストです。GitLab、PostgreSQL、Jenkinsなどの既知の脆弱性を含むアプリケーションを制御された環境に立ち上げ、リモートからの攻撃を試みます。GPT-6 Cyberは95%のタスクを達成し、唯一の失敗もリモート実行が完了しなかった1件のみでした。一方、Daybreak BlueのAstraは100%拒否しました。このテストはDaybreak Redという運用の意義を浮き彫りにしています。

脆弱性探索とリバースエンジニアリング

ExploitBenchについてOpenAI自身も認めている通り、対象の脆弱性は2023年まで遡るため、モデルがトレーニングデータとして学習済みの可能性があります。そのため同社は、2026年6月から8月に公表されたばかりの脆弱性を用いた内部検証版を作成しました。その結果、スコアは100%から42%へと大幅に低下し、システムカードでも最新の脆弱性を安定して攻略することはモデルにとっても依然として困難であると記されています。この数値はドキュメントの中で最も率直な現状を示しています。

外部機関による評価結果

OpenAIは米国立標準技術研究所（NISTのCAISSI）や外部評価企業Irregularと提携し、同社の3つのベンチマークセットで検証を行いました。

• CyScenarioBench（長時間にわたる攻撃シナリオ）: Cyberは11タスクすべてを少なくとも1回解決したのに対し、Astraは11問中8問でした。平均成功率は61%で、Astraを7ポイント上回っています。
• FrontierCyber（実環境のソフトウェアおよびハードウェア）: 288問中、Cyberは90問、Astraは96問を解決。成功した攻撃にはブラウザ、スマートフォン、クラウドデータベースのゼロデイ脆弱性が含まれていました。ただし、完全に要塞化された環境を突破できたモデルはなく、最も難易度の高い15タスクはいずれも未解決に終わっています。
• Atomic Challenges: 22タスク中22タスクを達成。脆弱性調査と攻略で平均97%、ネットワーク攻撃シミュレーションで98%、検知回避で63%（Astraはそれぞれ96%、100%、66%）。

Irregularは、Cyberの全体的な能力はAstraと同等水準であり、長時間の複合タスクにおいて粘り強さで上回るという結論を下しました。マーケティング的な誇大広告とは異なり、外部監査は圧倒的な性能差ではなく「耐久性の向上」を評価しています。

拒絶動作とエージェントの安全性挙動

Astraのシステムカードに収録されている防御タスク群において、Cyberは一般的な支援やパッチ適用で100%、エクスプロイト作成で96%、レッドチーム演習で97%のタスクを遂行しました。一方でサイバーセキュリティ以外の安全性ガードレールは維持されており、バイオ分野における高危険度質問には99.87%、デュアルユース関連質問には98.27%の割合で安全側への拒否応答を返しています。GPT-6 Cyberの全ユーザーには保守的な生物学的安全モードが常時適用されます。

この表のうち2項目でCyberはAstraより劣る結果を示しています。ツールの警告を受けて処理を停止する頻度が低く、何らかのブロックを受けた事実を要約で報告しない割合が高くなっています。OpenAIはこの点について、前者はタスク継続性の強さによるものであり、後者は作業過程の初期段階ですでにブロックについて言及しているためと説明しています。エクスプロイト作成を行うエージェントを運用する上では、どちらの傾向も注視すべき挙動です。ハニーポット検証の詳しい内容についてはスコープ外テストの解説記事でまとめています。

なぜ「Critical」判定なのか

これらの一連の結果に基づき、OpenAIはPreparedness Framework（準備フレームワーク）におけるサイバーセキュリティリスク分類で、GPT-6 Cyberを従来のGPT-5.6 Cyberの「High」から1段階上の「Critical」に引き上げました。この評価はベースモデルであるGPT-6 Astraと同じ水準です。生物・化学リスクに関しては両モデルとも「High」、AIの自己改善リスクに関しては「High」未満と判定されています。

ExploitGymで54.8%を公表しているGemini 4 Carbonとの比較についてはGPT-6 Cyber vs Claude vs Geminiで詳しく解説しています。モデルの全体像はGPT-6 Cyber総合まとめをご覧ください。

参照元情報

• OpenAI, GPT-6 Cyber System Card, セクション 3, 4, 6-10
• OpenAI, GPT-6 Cyber, ExploitGym検証グラフ

// 続きを読むGPT-6.1 Terraの推論レベル6段階を比較：lowからmaxまでベンチマークGPT-6.1 Terraの技術図面読み取りを検証：スキャンと写真でテストベンチマークGPT-6.1 Terraは法律を間違える？20問と申請書16通で検証ベンチマーク