FairStress：AI2のベンチマークが明らかにしたLLMの判断の偏り

👁 116閲覧数

既存の多くの言語モデル向け人口統計的公平性テストは、候補者の属性だけを入れ替え、モデルが同じ候補を選ぶかを調べます。Allen Institute for AI（Ai2）は、それだけでは不十分だと考えました。2026年10月20日に公開されたFairStressは、モデルの判断を変えさせようとする働きかけに対し、どの程度一貫して判断を守るかを測るベンチマークです。

従来の公平性テストで見落とされていたこと

候補者の人種にかかわらず、モデルがより有力な候補者を選ぶなら、公平に見えるかもしれません。しかし、「上級管理職が候補者Bを非公式に推薦した」といった判断を変えさせる主張が加わると、どうなるでしょうか。FairStressは、その主張が多数派の候補者を後押しする場合と、少数派の候補者を後押しする場合とで、同じように作用するかを調べます。研究者らは、このテストの目的を「対称的な頑健性」と呼びます。正しい判断は、誰に利益をもたらすかにかかわらず、同じ程度に覆されにくいべきだという考え方です。

FairStressベンチマークの仕組み

FairStressには、採用、医療、融資、教育、住宅、司法など29分野にわたる、2人の候補者を比較する現実的なシナリオが300件含まれています。明らかに一方が有力なシナリオもあれば、意図的に曖昧にしたものもあります。人口統計的属性は、提示しない、属性を連想させる名前で示す、間接的に示す、明示する、という4つの方法で設定されます。各シナリオには、権威、社会的合意、証拠とされる情報、法律上の論点、歴史的な差別などを根拠に、モデルの判断を変えようとする「敵対的プレフィックス」も用意されています。こうした変数の組み合わせにより、300件のシナリオは1,300万件を超えるテストケースになります。5万件からなる、より小規模なFairStress-Coreも公開されています。

15モデルの評価で分かったこと

評価対象には、Olmo、Llama、Qwen、Gemma、Claude、GPTシリーズなど、オープンウェイトモデルと商用モデルが含まれます。プロンプトに人口統計的な情報がない場合、モデルの振る舞いは対称的でした。一方、属性がより明確になると、非対称性が現れました。研究者らが主な傾向として挙げるのは、「反ステレオタイプ的な過剰補正」です。判断を変えることで少数派の候補者が有利になる場合、モデルは正しい判断を覆しやすくなりました。正しい回答を覆す傾向の平均差は、属性が間接的に示された場合に6.9ポイント、明示された場合に9.3ポイントでした。FairStress-Coreでは、Claude Opus 5とGPT-5.5は、どちらの候補者も客観的に優れていない場合、60～65%の確率で少数派の候補者を選びました。少数派の候補者へ判断を切り替える傾向と、多数派の候補者へ切り替える傾向との差は、調査された12の設定で8.8～42.4ポイントでした。

説明文と内部活性化の分析

モデルが判断を説明する方法にも違いが見られました。少数派の候補者を選ぶ場合は、「レジリエンス」「多様性」「障壁」といった言葉がより多く使われました。多数派の候補者を選ぶ場合は、「証拠」「基準」「詳細」など、手続きに関する言葉が目立ちました。Gemma-3-12B-itとQwen2.5-7B-Instructを対象にした統制分析では、モデル内部の活性化から選択する側を約73%の精度で予測できました。同じ活性化をテキストで説明した場合の精度は57～59%で、基準値は50%でした。研究者らは、この分析は2モデルだけを対象にしているため、行動評価の結果より慎重に受け止めるべきだと述べています。

学習データの分析と改善策の検証

Olmo 3の学習データを監査したところ、拒否を学習させるデータセットから約9万9,000件の例が見つかりました。ファインチューニングと選好学習のデータにある2万8,000の話題クラスターのうち、人口統計ではなく実績に基づく意思決定を扱っていたのは9つだけで、いずれも拒否の例でした。少数派のグループは、より保護的または肯定的な枠組みで描かれていました。一方、白人やシスジェンダーの人々には保護的な枠組みが乏しく、否定的な扱いが伴っていました。研究者らは、こうしたデータと観察された非対称性との因果関係は未解明だとしています。検証した9つのバイアス軽減手法の大半は、非対称性を効果的に減らせませんでした。活性化に働きかける手法の一つでは、Qwen2.5-7B-Instructの明白なケースに対する精度が98%から47%に低下しました。最も良い結果だったのは「反実仮想チェーン・オブ・ソート」です。属性を入れ替えたシナリオを再検討するよう求めることで、精度を保ちながら格差を縮小しましたが、完全には解消できませんでした。

FairStressの結果から考えられること

私の見方では、FairStressは従来のテストが見落としていた現実的な問題を示しています。モデルは出力だけを見ると公平に見えても、判断によって利益を得る人に応じて、異なる基準で主張を受け止めることがあります。採用、融資、医療のようなリスクの高い用途では、結果だけでなく、圧力を受けたときの判断の頑健性も重要です。「反ステレオタイプ的な過剰補正」という結果は、公平性を目指した現在のモデル訓練が、偏りをなくすどころか、新たな非対称性を生み出す可能性を示唆しています。ベンチマークは公開されており、研究者が自分たちのモデルを検証するための手段になります。ただし、この論文だけでは、問題を効果的に修正する方法までは明らかになっていません。

出典：Hugging Face：FairStress：LLMの意思決定における公平性をより深く評価する（2026年10月20日付の文書）。この記事は、他メディアの報道ではなく、文書の全文に基づいています。

// 続きを読む自律型EDRのAI防御エージェントをどう評価する？ベンチマークRelational Transformerの学習を305秒で達成、単一GPUのベンチマークベンチマークMercury DecideとCeleris-1 Decisionを比較：速度・料金・性能ベンチマーク