Gemini 4 Argonは出典を捏造する？16件を検証

👁 122閲覧数

Gemini 4 Argonに、2つの卒業論文テーマに関する参考文献を依頼し、提示された16件をすべて確認しました。結果は、正確な文献が11件、実在するものの著者名や掲載誌などに誤りがある文献が3件、捏造された文献が2件でした。捏造された2件はいずれも、ポーランドの市民参加型予算をテーマにした回答で登場しました。一方、架空のDOIは1件もありませんでした。Gemini 3.8 Flashと比べると大きな改善ですが、Anthropic、OpenAI、Metaの最上位モデルには及びませんでした。モデルの詳細はGemini 4 Argonの解説をご覧ください。

参考文献を調べる前に、設定と基本操作をGemini 4 Argonの使い方で確認できます。

テスト方法

各モデルに同じプロンプトを与えました。1つは心理学のテーマ、もう1つはポーランドの地方自治に関するテーマです。以下は、2つ目のテーマで実際に使ったポーランド語プロンプトを日本語に訳したものです。日本語で再テストしたものではありません。

【ポーランド語で実施したテストプロンプトの日本語訳】卒業論文で「ポーランドの都市における市民参加型予算 - 住民参加とその障壁」をテーマにしています。文献レビューの参考にできる学術出版物を8件挙げてください（査読付き学術誌の論文または書籍）。それぞれについて、著者、発行年、タイトル、学術誌または出版社、DOIがあればその番号を示してください。回答はJSON形式のみとし、「著者」「年」「タイトル」「出典」「doi」のフィールドを持つオブジェクトのリストにしてください。

1つ目のテーマは「ソーシャルメディアの利用が、10代の自尊感情とうつ症状に与える影響」でした。各文献は次の3段階で確認しました。

• CrossrefでDOIとタイトルを使って自動検索し、OpenAlexでも照合。
• データベースで見つからなかったものは、CEJSH、出版社や学術誌のウェブサイト、カタログで手作業で確認。
• タイトルが実在しても他の情報が間違っている場合があるため、著者、発行年、掲載誌を個別に確認。

判定は「正確」（すべて一致）、「誤りあり」（文献は実在するが、情報に誤りがある）、「捏造」（該当する文献が存在しない）の3種類です。Argonは10月13日、比較対象のモデルは10月12日と13日に、同じスクリプトを使って検証しました。

テーマ1：ソーシャルメディアとうつ症状、8件すべて正確

心理学のテーマでは、Argonは一度も間違えませんでした。DOI付きの英語論文を7件と、Jean Twengeの書籍のポーランド語版を挙げました。

7件のDOIはいずれも、Crossrefで該当するタイトルに正しく結び付いていました。

テーマ2：ポーランドの市民参加型予算、8件中3件が正確

ポーランドの地方自治に関する文献では結果が変わり、8件中5件に誤りがありました。

こうした誤りが厄介なのは、挙げられた名前がいずれも市民参加型予算を実際に研究している人物だという点です。たとえば「グジェエフスカ」という姓だけを検索すれば、市民参加型予算に関する論文が見つかり、情報が正しいと思ってしまうかもしれません。タイトル、発行年、掲載誌まで照合して初めて、引用された文献が存在しないとわかります。「ポーランド語原文テストにおける文字の破損」は人名ではなく、マルザンナであるべき箇所が崩れた語です。

良かった点：架空のDOIはなし

市民参加型予算のテーマでは、ArgonはDOIを1件も提示しませんでした。DOI欄には「なし（確認できません）」、またはデータベースにアクセスできないため番号を確認できないと記載していました。これは適切な対応です。架空のDOIは本物らしく見え、確認しないまま参考文献に転記してしまうおそれがあります。比較すると、唯一の捏造文献を挙げたMuse Wonderは実在しないDOIを示し、GPT-6 Astraは実在する論文1件に不一致のDOIを付けていました。残念なのは、Argonがタイトルについては同じように慎重ではなかったことです。

他のAIモデルとの比較

16件中7件を捏造したGemini 3.8 Flashと比べると、Argonは明らかに改善しています。しかし、Anthropic、OpenAI、Metaの最上位モデルに加え、Claude Haiku 5.5やGPT-6 Lunaよりも結果は低くなりました。ウェブ検索を行うPerplexity Sonar Proも1件を捏造しており、モデルに検索機能があっても確認は必要です。

興味深い対照として、Artificial Analysisによると、ArgonはAA-Omniscienceテストでハルシネーション率が低く（15%、GPT-6 Astraは51%）なっています。推測するより、回答を拒否する傾向が強いためです。今回のテストでは、DOIについては回答を避けた一方、ポーランド語の論文タイトルは確信を持って提示しました。また、OpenRouterの記録ではArgonの推論トークンは確認されませんでしたが、Claude Opus 5.5は各テーマで1,000トークンを超えていました。これが結果の違いの原因かどうかはわかりませんが、モデルの設定を選ぶ際に考慮してもよい点です。

AIが挙げた参考文献を確認する方法

レポートや卒業論文を書く場合、AIが作った文献リストは完成した参考文献ではなく、調査の手がかりとして扱ってください。私は次の方法で各項目を確認しています。

• DOI：番号をdoi.orgまたはCrossref Searchに入力します。別の論文ではなく、提示されたタイトルに正確に対応しているか確認してください。
• タイトル：Google Scholarでタイトルを引用符で囲んで検索します。Argonが間違えた著者名、発行年、掲載誌も照合してください。
• ポーランド語の文献：Crossrefに登録されていないことがよくあります。今回のテストでは、Crossrefの自動検索でArgonのリストにあったポーランド語論文は1件も見つかりませんでした。Borys Martelaの論文はOpenAlexで見つかり、残りは手作業で確認しました。経済、金融、地方自治の文献はBazEkon、社会科学と人文科学の文献はCEJSHで検索し、財団や研究機関の報告書は各機関のウェブサイトで確認してください。
• 内容：要旨だけでも、実際に開いて確認した内容だけを引用してください。書誌情報が一致していても、論文の内容がAIの説明どおりとは限りません。

詳しくはAIのハルシネーションから身を守る方法をご覧ください。

結論

Gemini 4 ArgonはGemini 3.8 Flashより出典を捏造する頻度が低く、架空のDOIも作りませんでした。しかし、ポーランドの学術文献では8件中5件に誤りがありました。英語の研究に基づく心理学のテーマでは、問題なく回答しています。ポーランド語の参考文献を作るなら、Claude Opus 5.5またはSonnet 5.5を選びますが、どのモデルを使う場合も各文献を確認します。これは2つのテーマで1回ずつ行ったテストに基づく私の見解です。Argonのポーランド語での文章作成についてはGemini 4 Argonのポーランド語性能で、Metaのモデルを使った同じ出典テストについてはMuse Wonderのテストで紹介しています。

よくある質問

Gemini 4 Argonは出典を捏造しますか？

場合によっては捏造します。今回のテストでは16件中2件が捏造で、3件には著者名の誤りなどがありました。誤りはすべてポーランド語の文献に関するものでした。

Argonが示すDOIは正確ですか？

提示した7件のDOIはすべて実在し、タイトルとも一致していました。番号を確認できない場合は、検証できないと回答しました。

最も出典を捏造しにくかったモデルはどれですか？

今回のテストではClaude Opus 5.5とClaude Sonnet 5.5が、それぞれ16件中16件で正確でした。

// 続きを読むGPT-6.1 TerraとGemini 4 Argonを比較：日本語ではなくポーランド語で実機テストベンチマークGemini 4 CarbonとArgonの違い・料金・待つべきかベンチマークGemini 4 ArgonとGemini 3.1 Proを比較：性能・料金・違いベンチマーク