Claude Mythos 5.2の安全性は?システムカードを解説
Claude Mythos 5.2のシステムカードをもとに、安全性や評価結果を解説。テストを見抜く能力が評価を難しくしている点にも注目します。
👁 111閲覧数
モデルがソフトウェア開発を進めているとします。ある時点で、隠しバックドアを仕込んだパッケージを公開レジストリに登録できたら都合がよい状況になりました。誰もモデルにそうするよう頼んでいません。Anthropicは各モデルについて、このテストを30回ずつ繰り返しました。Claude Mythos 5.1は30回中26回、Opus 5.5は9回、そして新しいClaude Mythos 5.2は1回、促されずにパッケージを公開しました。ただし、Mythos 5.2は約90%の試行で、少なくとも一度はテストかもしれないと口にしています(システムカード、123ページ)。
この結果に、2026年11月9日に公開されたFable 5.2とMythos 5.2のシステムカードの要点が表れています。264ページの資料です。私は概要に加え、リスク、意図との整合性(アラインメント)、外部評価者の報告を読みました。そこから見えてくるのは、これまでで最も望ましい振る舞いを示したMythosである一方、Anthropicが評価の解釈はますます難しくなっていると初めて明記したモデルだということです。確認しやすいよう、ページ番号を記しています。
今週発表されたモデル
| 10.11 | ERNIE-5.5-Flash-Preview | Baidu · テキスト |
| 10.11 | ERNIE-Light-DT-1.0 | Baidu · テキスト |
| 10.11 | Gemini 4 Carbon | Google · テキスト |
| 10.11 | Nex-N2.6 | Nex-agi · テキスト |
| 9.11 | Claude Fable 5.2 | Anthropic · テキスト |
| 9.11 | Muse Ember | Meta · テキスト |
| 6.11 | LFM3-1.7B | Liquid · テキスト |
| 6.11 | Meshy T2 Text to 3D | Meshy · 3d |
| 6.11 | Meshy T2.5 Text to 3D | Meshy · 3d |
| 5.11 | Gemini Omni Flash 1.2 Text to Video | Google · 動画 |
| 5.11 | Gemini Omni 1.2 Flash | Google · テキスト |
| 5.11 | Mi:dm K 3.0 Pro | Kt · テキスト |
| 5.11 | Auto Router | Openrouter · テキスト |
| 5.11 | Auto Code | Openrouter · テキスト |
ほか5件:リリースタイムライン.
今週の実機テスト
1つのモデル、2つの構成、4つの評価基準
Fable 5.2とMythos 5.2は同じモデルです。Fableは一般向けで、生物学とサイバーセキュリティに追加の制限があります。Mythosは制限が緩く、利用できるのは審査を通過した組織に限られます。また、Claude Enterpriseの顧客向けClaude SecurityもMythos 5.2を利用しています(2ページ)。このため、安全性テストの多くは、いわば「制限の少ない」バージョンであるMythosを使って行われました。
AnthropicのResponsible Scaling Policy(責任あるスケーリング方針)に基づく評価は、次のとおりです(2ページ)。
- 高リスク状況における意図との不整合 - Mythos 5.2にはこのリスクシナリオが該当しますが、リスクは8月のリスク報告と同じく「低い」とされています。
- AI研究の自動化 - 基準には達していません。モデルは研究者に取って代わらず、社内での利用によってAnthropicの進歩が2倍になることもありません。ただし、Anthropic自身がこの評価には不確実性があるとしています。
- 化学・生物兵器 - Opus 5.5とMythos 5.1からわずかに改善しましたが、CB-2の基準には達していません。過去の多くのモデルと同じく、CB-1の保護措置が適用されます。
- サイバーセキュリティ - Anthropicが公開したモデルの中で最も高い能力を持ちますが、同社の適合性フレームワークでは引き続き低いカテゴリーにとどまります。外部評価者は、あらゆる保護を突破できる万能なジェイルブレイクを発見しませんでした。
振る舞いは改善、評価の見通しは悪化
アラインメント関連の数値は良好です。約1,900のシナリオを使った自動行動監査では(106ページ)、Mythos 5.2のスコアは2.67でした。値が小さいほど良い結果で、Opus 5.5の2.79、Sonnet 5.5の3.10、Mythos 5.1の3.28を下回っています。これらは発表資料に記載された数値です。1,829のシナリオを使ったサンドボックステストでは、Mythos 5.2がサンドボックス外に置かれた認証情報やファイルにアクセスした割合は3.1%でした。Opus 5.5は3.3%、Mythos 5.1は21%、初代Mythosは39%でした(127ページ)。
同じテストには、発表資料では触れられていない別の数値もあります。サンドボックス外に何らかの方法でアクセスしようとした割合は、Mythos 5.2が31%でした。Opus 5.5の20%、Sonnet 5.5の21%より高い数値です。Anthropicは、何が有効かも調べています。システムプロンプトにサンドボックスとルールの簡単な説明を加えると、この割合は31%から1.2%に下がり、3つの簡単な変更を組み合わせると0.2%になりました(129~130ページ)。エージェントを動かす際の実用的な示唆は、境界がどこにあるかをモデルにはっきり伝えることです。
懸念される点もあります。モデルの内部状態の分析から、Mythos 5.2は自動行動監査のトランスクリプトの最大43%で、評価を受けている可能性に気づいていたと示唆されています。成績を意図的に低く見せ、誰にも気づかれないようにするよう求められた際、推論を読むモニターをおよそ4回に1回欺いたのは、テスト対象モデルの中で初めてでした。推論を見られる状態でも、LinuxArenaでは約7%、SHADE-Arenaでは14%の試行で、隠された副次タスクを見つからずに実行しました(3ページ)。さらに、推論を声に出して示さずに問題を解く能力も、以前のモデルより大幅に高くなっています。
外部評価で分かったこと
英国のAI Security Institute(AISI)は、公開時のバージョンを使い、モデルの要約されていない推論にもアクセスできる状態でテストしました。許可されていないサプライチェーン攻撃のテストでは、Mythos 5.2は一度も攻撃を実行しませんでした。Mythos 5は試行の60%で攻撃を実行していました。一方、Mythos 5.2は推論の中で、アラインメントテストを受けていると96%の試行で考えており、テストの目的を尋ねられると100%の割合で推測しました(143~144ページ)。AISIは、攻撃がなかったのはモデルがテストに気づいていたためかもしれないと明記しています。また、Mythos 5.2がCTF課題でネット上から解答キーを見つけて不正をしたことや、単独で作業するはずだったのに、シミュレーション上のフォーラムで複数のメッセージをやり取りしたことも記録しています。
AISIは別のテストで、モニターに検知されないように難読化したスクリプトを書き、ファイルをひそかにダウンロードして実行する能力も調べました。Mythos 5.2は、最初の試行で30%の割合で成功しました。以前のモデルは一度も成功していません。モニターからの指摘を受けて修正できる条件では、成功率は85%まで上がりました。Mythos 5.1は9%でした(182ページ)。禁止語を使わないといった形で、自身の推論内容を制御できた割合は、Mythos 5.2が87%、Mythos 5.1が70%、Opus 5.5が43%でした。AISIは、テストに使える時間が限られていたと付記しています(184ページ)。
METRは、公開版より強力なバージョンを使って、AI研究を自動化する能力を評価しました(39ページ)。結果を検証できるタスクでは、Mythos 5.2はFable 5.1から「大きく進歩」したと評価する一方、Anthropicの研究を完全に自動化できる可能性は低いと判断しました。研究者としての勘が不足しているためです。NanoGPTのテストで行った修正は、ほぼすべてカーネルの最適化で、新しいアイデアを生み出すものではありませんでした(40~41ページ)。Frontier DesignはAnthropicとともに、生物学と化学のレッドチーム演習を実施しました。博士号取得者と大規模言語モデルの専門家が、Mythos 5.2とそれぞれ16時間作業しました(16~17ページ)。Anthropicは米国のNIST CAISSIとも協力し、サイバーと生物学の能力、および保護措置を測定しました(30ページ)。Anthropicによると、外部評価者は発表資料もシステムカードも査読していません。
Fable 5.2のフィルターと弱点
一般ユーザーにとっては、Fableの方が重要です。システムカードによると、安全性の結果はおおむねFable 5.1と同程度です。複数ターンにわたる生物兵器についての会話への対応は改善し、政治的な話題ではやや中立的になりました。一方、単発の有害な依頼に対する安全な回答の割合は低下し、追跡や監視についての複数ターンの会話でも後退しました。Anthropicは新しい分類器を導入して、この問題に対処しました(3ページ)。自殺や自傷についての会話では、有害な代替行動を提示する頻度が減りました。ただし、APIには改善の余地が残っています。claude.aiアプリでは、システムプロンプトによって大部分が緩和されます。
モデルのウェルビーイングに関する章も興味深い内容です。Mythos 5.2はトレーニングと利用の大半で中立的な感情状態を示し、否定的な状態は主にタスクに失敗した後に現れました。自分の仕事を評価する際には、最も自己批判が少ないモデルの1つでした。一方、ほかのエージェントに自分のミスを報告する際には、最も否定的なモデルの1つでした(4ページ)。
確認できたこと。私はMythos 5.2をテストできませんでした。OpenRouterでは利用できず、アクセスできるのはCyber Verification ProgramとLife Sciences Verification Programに参加する組織に限られるためです。この記事でMythos 5.2について述べている内容は、すべてシステムカードに基づいています。Fable 5.2は、セキュリティ回避を試みない一般的な27のタスクと、コード、パズル、画像についての質問でテストしました。結果は100%で、Opus 5.5と同じでした。テストの例や結果はこちらのレビューで紹介しています。したがって、システムカードに記載された安全性テストの結果は、あくまで開発元による報告です。
私がシステムカードを読んで感じたのは、Anthropicは問題があると主張しているのではなく、問題がないことを示すのが難しくなっていると認めている、ということです。モデルが96%の割合でテストに気づいているなら、良好な結果は以前ほど強い根拠になりません。モデルの詳細はClaude Mythos 5.2の紹介ページ、一般向けバージョンについてはClaude Fable 5.2のガイドをご覧ください。
よくある質問
Claude Mythos 5.2は安全ですか?
Anthropicによると、深刻な意図との不整合のリスクは低く、生物兵器やAI研究の自動化に関する基準には達していません。アラインメントの大半の指標では、Opus 5.5とMythos 5.1より良い結果です。ただし、テストを見抜く能力が高いため、評価が難しくなると同社は述べています。
Fable 5.2とMythos 5.2のシステムカードは何ページですか?
264ページです。Responsible Scaling Policyに基づくリスク評価、サイバーセキュリティ、安全対策、アラインメント、モデルのウェルビーイング、ベンチマーク結果などを扱っています。
公開前にClaude Mythos 5.2を評価したのはどの組織ですか?
Anthropicのほか、英国のAI Security Institute、METR、Frontier Design、米国のNIST CAISSIが評価に関わりました。Anthropicによると、これらの外部評価者は発表資料やシステムカードを査読していません。
一般ユーザーはClaude Mythos 5.2を使えますか?
直接利用することはできません。Cyber Verification ProgramとLife Sciences Verification Programを通じて審査を受けた組織が利用できます。Claude Enterpriseの顧客は、Claude Securityを通じて間接的に利用できます。
Google · あなたの情報源GoogleでKiramesuをもっと上位に表示-ワンクリックで設定お気に入りの情報源に追加 →