生成AIの回答は、文章として自然で、自信のある調子で書かれます。そのため、内容が誤っていても気づきにくいという問題があります。事実と異なる内容をもっともらしく出力することを、ハルシネーションと呼びます。業務で生成AIを使うなら、誤りが出る前提で、どこを誰が確かめるかを決めておく必要があります。
ハルシネーションとは
米国立標準技術研究所(NIST)は、生成AIのリスクをまとめた文書(NIST AI 600-1、2024年7月)で、自信を持って述べられた誤りや虚偽の内容が生成されることを「作話(confabulation)」と呼び、俗にハルシネーションと呼ばれるものだとしています。利用者がその内容を信じ、誤った判断をすることが問題になります。
よくあるのは、存在しない論文や判例、URLを示す、数字や日付を間違える、製品にない機能をあるかのように説明する、といった誤りです。
なぜ起きるのか
生成AIは、学習した大量の文章をもとに、次に来る語を予測して文章を組み立てます。内容が正しいかどうかを確かめながら書いているわけではありません。
OpenAIの研究者らは2025年9月の論文で、ハルシネーションが残る理由として、学習と評価の仕組みが、分からないと答えるより推測で答えるほうを有利にしてきたことを挙げています。試験で空欄にするより当て推量で書くほうが点数が上がるのと同じで、自信がないときにも答えを作るように最適化されるという説明です。
論文は、最新のモデルでもハルシネーションは残っているとしています。社内の文書を検索して回答させる仕組み(RAGとは)は誤りを減らす効果が期待されますが、ゼロにはなりません。
業務で問題になった例
2023年6月、米国の連邦地方裁判所は、ChatGPTが作り出した存在しない判例を書面で引用した弁護士2人と所属事務所に、5,000ドルの制裁金を科しました(Mata対Avianca事件)。裁判官は、AIを使うこと自体が不適切なわけではなく、提出する書面の正確さを確かめる責任は弁護士にあるとしています。
2024年2月には、カナダの航空会社エア・カナダが、自社サイトのチャットボットが忌引きの割引運賃について誤った案内をした件で、ブリティッシュコロンビア州の紛争解決の審判所から責任を認められました。審判所は、チャットボットもサイトの一部であり、そこに載る情報には会社が責任を負うと判断しています。
どちらも、AIの出力を確かめずに外へ出したことで、使った側が責任を負った例です。
セキュリティにつながる誤り
プログラムを書かせるときの誤りは、攻撃に使われることがあります。米国の大学の研究チームは、16のモデルに生成させた57万6,000件のコードを調べ、存在しないパッケージ(プログラムの部品)の名前が、商用のモデルで平均5.2%以上、オープンなモデルで平均21.7%含まれていたと報告しました(2025年のUSENIX Security Symposiumに採択)。架空のパッケージ名は20万5,474種類にのぼります。
攻撃者がこの架空の名前で不正なパッケージを公開の登録先に置いておくと、AIが示したとおりに部品を導入した開発者が、不正なコードを取り込むことになります。AIが示したコマンドや設定、パッケージ名は、公式の資料で存在と中身を確かめてから使います(サプライチェーン攻撃とは)。
業務で使うときの確認の決め方
誤りが出る前提で、使い方ごとに確認のやり方を決めておきます。
- 下書き、要約、アイデア出し。人が読んで手を入れる前提で使う。要約は元の文書と突き合わせ、抜けや取り違えがないかを見る
- 社外に出す文書、数字、法律や契約に関わる内容。AIが示した出典を開いて原文を確かめ、数字は元のデータと照合する。確認した人の名前を残す
- 顧客に直接答えるチャットボット。答えてよい範囲を決め、範囲外の質問は人の窓口に回す。回答の記録を残し、定期的に誤りを点検する
- プログラム、コマンド、設定。パッケージ名やコマンドは公式の資料で確かめ、本番の前に検証用の環境で動かす
社内のルールに確認の手順を書き込むときは、生成AIの社内ルールで、守られなかった3つの決まりも参考にしてください。