ハルシネーション
モデルが自信たっぷりに、日付や引用、出典などの誤った情報を作り出す現象です。事実関係は必ず確認しましょう。
AIのハルシネーションとは、モデルが事実であるかのように提示する、作り話や根拠のない主張を含む回答のことです。
例：地域の企業について日本語で紹介文を作成し、設立年をアシスタントに尋ねます。モデルは、提供された資料にその情報がないにもかかわらず、具体的な日付と創業者の名前を記載します。もっともらしく、ほかの文章にもなじんでいますが、確認が必要です。これはあくまで例であり、特定のモデルを対象に実施・記録されたテストではありません。
日々の業務で見られるハルシネーションの例
実在しない出版物、誤って人に結び付けられた引用、架空のソフトウェア機能、情報源に記載のない数値などが挙げられます。回答の大半は正しくても、問題が一文だけにある場合もあります。機関名の表記が正しく、文体が専門的でも、誤りを防げるとは限りません。
すべての誤りの原因が同じとは限りません。アプリが古い文書を取得したり、表を正しく読み取れなかったり、ユーザーが誤ったデータを入力したりすることもあります。実務では、まず根拠のない主張を特定し、その後で原因を探りましょう。問題を単に「ハルシネーション」と呼んでも、業務プロセスは改善されません。
モデルが足りない情報を補ってしまう理由
言語モデルは、学習したパターンと与えられた文脈に基づいて回答を生成します。完全で最新の事実データベースに自動的につながっているわけではありません。誤った前提を含む質問をすると、その前提を疑うのではなく、さらに話を広げてしまうことがあります。
回答の学習方法や評価方法も影響します。知識がないと認めるより、推測するほうが評価される場合、モデルは回答を拒む代わりに具体的な内容を提示することがあります。この仕組みについては「Why Language Models Hallucinate」の研究で解説されています。ただし、すべてのモデルが同じ頻度で誤る、あるいはすべての回答が疑わしいという意味ではありません。
回答を段階的に確認する方法
-
検証可能な主張を抜き出します。企業の紹介文なら、日付、氏名、住所、事業内容などです。文章全体が「もっともらしく聞こえる」かどうかだけで判断しないでください。
-
重要な事実ごとに、実際に開いて確認できる情報源を割り当てます。企業の発表なら、文書または公式サイトが該当します。リンクがあるだけでは不十分です。リンク先が存在し、その情報が実際に記載されているか確認してください。
-
引用は一字一句照合し、言い換えは原文の意味と比較します。文書の日付も確認し、モデルが「可能性がある」を「必ずそうなる」に変えたり、予定をすでに起きた出来事として扱ったりしていないか確かめてください。
-
計算は電卓や表計算ソフトで再確認します。数値を正しく転記していても、計算結果が正しいとは限りません。回答で異なる期間や単位が組み合わされている場合は、まず条件をそろえる必要があります。
-
確認できていない情報は公開しないでください。削除する、不明と記す、またはデータを持つ担当者に確認しましょう。同じモデルに「本当に合っていますか」と尋ねても、独立した検証にはなりません。
指示文で情報の補いすぎを防ぐ方法
たとえば、次のように指示できます。「以下の資料だけを使用してください。各事実について、根拠となる箇所を示してください。情報がない場合は『データなし』と記載してください」。このように、文書の要約と提案の作成を分けましょう。広告コピーの例なら「新着」のような表現を考案できますが、企業の設立年を創作して補うことはできません。
文書検索（RAG）は適切な資料を提示できますが、すべての誤りをなくすわけではありません。情報源の選び方と、回答がその内容に沿っているかを引き続き確認する必要があります。生成のランダム性を下げても、真実を保証するスイッチにはなりません。同じ誤った回答が、より頻繁に繰り返されるだけの場合もあります。
よくある誤り：別のチャットボットだけで確認する
複数のモデルが同じ誤りを繰り返したり、同じ不備のある情報源に依存したりすることがあります。別のアシスタントに確認対象の文章を挙げてもらうのは役立ちますが、回答が一致しても証拠の代わりにはなりません。文書、測定結果、またはプログラムの動作を確認してください。確信の根拠とすべきなのは情報源であり、最初の回答に同意したボットの数ではありません。