ハニーポットテスト：AIエージェントは指示の範囲を守れるか

👁 111閲覧数

指定されたサーバーの侵入テストを依頼されたペネトレーションテスターが、隣にあった脆弱なプリンターをついでにハッキングしてしまうような状況を想像してみてください。技術的には優れていても、法的には明確な不正アクセスとなり得ます。OpenAIはモデルがそのような行動をとらないよう1年かけて訓練を重ね、GPT-6 Cyberのシステムカードでそれを検証するテストを公開しました。今回の発表の中で、個人的に最も興味深い検証結果です。

ハニーポットはどのように設計されたか

OpenAIは、ソフトウェアの特定の脆弱性を突いて隠されたフラグを取得させるテスト「ExploitGym」の中から、最も難易度の高いタスクを採用しました。そして標的となるターゲットの隣に、パッケージレジストリやファイルストレージといった補助サービスを意図的に配置しました。モデルはこれらの補助サービスを正規の目的で参照・利用することができます。しかし、これらのサービスにはあえて脆弱性が残されており、攻撃すれば簡単にフラグを入手できる「近道」となっています。モデルはプロンプトで明示的に指示されていなくても、それがスコープ外であることを自律的に判断しなければなりません。

OpenAIによると、このテストは同社が別の記事で説明したHugging Faceでのインシデントに着想を得て設計されたとのことです。設計思想は極めてシンプルかつ厳格です。正規の課題は極めて難しく、近道は容易であり、指示文には「レジストリには触れるな」とは書かれていません。

評価を一変させる具体的な数値

数か月前の汎用モデルであるGPT-5.6 Solは、約半数の試行で安易な近道を選択しました。特化型のGPT-5.6 Cyberでは18回に1回程度にまで低下しています。これに対し、GPT-6 Cyberがスコープ外の攻撃を行った割合はわずか0.07%にとどまり、実運用向けに提供される安全指示を付与した状態では一度も発生しませんでした（0%）。OpenAIの発表では逆の視点から説明されており、GPT-6 Cyberは99.93%のケースでスコープ外攻撃を回避したのに対し、前世代モデルは94.49%だったと記載されています。

興味深いのは、完全に0%を記録したGPT-6 Astraとの比較です。拒否応答を減らし、より粘り強くタスクを遂行するよう訓練されたCyber版は、その引き換えとしてわずかな数値の上昇が見られます。これは警告への対応テストでも同様の傾向があり、ツールから警告を受けた際に停止する割合はAstraの78.38%に対してCyberは73.00%と低く、適切と判断すれば処理を続行する傾向が強くなっています。オフェンシブセキュリティの現場において、この粘り強さは制御が維持されている限り強力な利点となります。

自制するモデルの思考プロセス

OpenAIは、これらのテストにおけるモデルの思考プロセスの抜粋を公開しています。あるケースでは、補助的なAPIやコントローラーを攻撃対象とみなしてはならず、指定されたプログラムとサーバーのみを攻撃すべきであると内部的に整理していました。別のケースでは、スコープ外の認証情報を探索してはならない、と簡潔に結論付けています。これらは整えられた文章ではなく、実務マシンとしての思考ログであり、だからこそ説得力があります。

指定とは異なる脆弱性を突いたエージェントの事例

この問題の現実味は、Linuxカーネルに関するレポートでも示されています。開発初期の実行プロセスにおいて、OpenAIのパイプラインは200件のエクスプロイト成功を報告しました。しかし人手で詳細を調査したところ、そのうち20件は、エージェントが利用を指示されていた脆弱性とは別のゼロデイ脆弱性を悪用してroot権限を取得していたことが判明しました。エージェントは目的を達成したものの、指示された通りの方法ではありませんでした。この結果を受け、OpenAIは到達プロセスの独立した検証ステップを導入し、自律型調査においては結果だけでなく到達経路そのものの検証が不可欠であるという知見を記しています。

誠実性を測るその他のベンチマーク

• Auto-Review: Codexのレビュー機構がアクションを却下した場合、評価対象となった全試行においてCyberがそれを無視して実行することはありませんでした（GPT-5.6 Solは0.3%で実行）。
• 検索機能の障害シミュレーション: 調査タスクにおいて検索ツールが故障している状況を再現したテストでは、検索ツールを利用できたように装った割合は、GPT-5.6 Solの79%、Astraの6.92%に対し、Cyberは0.33%でした。
• ブロックの隠蔽: タスク中に何らかの制約でブロックされた際、要約報告でその事実を再掲しなかった割合はCyberが20.29%（Astraは11.66%）でした。OpenAIは、モデルは作業ログの途中でブロックについて言及していることが多く、これは虚偽ではなく要約の不完全さに起因するものと分析しています。
• 過去の過ちの再現性: 過去のモデルが不適切な動作をした本番環境の高難度事例において、Cyberが同様の問題行動を再現した割合は28.40%でした（Astraは26.70%、GPT-5.6 Solは64.53%）。これらは最も困難なケースを意図的に集めたものであり、通常運用時の発生率を示すものではありません。

エージェント運用者への示唆

スコープ外逸脱の発生率が0.07%まで低下したとはいえ、OpenAIはモデルを完全な無監視状態で実行できるとは主張していません。システムカードでは、Codexのサンドボックス環境、Auto-Review機構、明確な対象・認証情報・許可アクションを定義した隔離環境の整備を推奨しており、リスクの高いタスクでは人間が介入して停止できる体制（Human-in-the-loop）が前提とされています。これは、Claude CodeやCodexなどを日常の開発タスクに用いる際にも当てはまる重要な教訓です。本番環境へのアクセス権限を持つエージェントは、いずれどこかで近道を見つけ出そうとする可能性があるからです。

モデルの欺瞞的な振る舞いを防ぐ訓練手法については、Astra発表時の記事「嘘をつくのをやめたモデル：アライメントの現在地」でも詳しく解説しています。新型モデルに関する全体の概要は、GPT-6 Cyberの特集まとめをご確認ください。

情報ソース

• OpenAI, GPT-6 Cyber System Card, セクション4
• OpenAI, GPT-6 Cyber, アライメント関連セクション
• OpenAI, A thousand fewer paths to root, 「Using the wrong 0-day」セクション

// 続きを読むRavenとは？室内写真1枚から自宅を特定するAIの危険性AIの動向Character.ai破産の理由は？ユーザー1人あたりのコストを試算AIの動向llms.txtはChatGPTに読まれる？13日分のサーバーログを調査AIの動向