ハルシネーション

生成AIは事実に基づかない誤った情報をもっともらしく生成することがあり、これをハルシネーション（幻覚）と呼ぶ。

— 総務省『令和6年版 情報通信白書』

OpenAIの論文は、難しい試験問題に向かう学生にたとえて、大規模言語モデルは確信が持てないときに、分からないと認める代わりに推測することがあり、もっともらしいが誤った記述を生み出す、と述べています。「もっともらしい」が肝心な部分です。 明らかにおかしい答えなら誰でも気づきます。問題は、正しそうな文体で、正しそうな固有名詞を伴って出てくることです。

ここは誤解されやすい点です。AIが意図的にごまかしているわけではありません。

NISTは、この現象を「生成モデルの設計の仕方から自然に生じる結果」と位置づけています。LLMは、次に来る語として確率が高いものを出していく仕組みなので、事実かどうかを判定する工程がそもそも含まれていません。 知らないことについても、ありそうな続きを書きます。

ですから「AIが嘘をつく」という言い方は、相手を人に見立てすぎています。「確認する機能が付いていない」と理解するほうが実務的です。

ここは資料によって差があるので、慎重に書きます。

「完全には抑えられない」までは、公的資料で裏が取れます。 総務省の白書は、技術的な対策が検討されているとしつつ、完全には抑制できないと述べています。

一方で、「原理的に絶対に直らない」とは書けません。 OpenAI自身の論文が「ハルシネーションが避けられないのは、ベースモデルに限られる」と述べているためです。ベースモデルとは、調整を加える前の段階のモデルを指します。同論文は、分からないときに答えない設計にすれば回避しうるという立場を取っています。

つまり現状は、「仕組み上起こりやすく、現時点では完全には抑えられていない」であって、「永久に解決しない」ではありません。

OpenAIの論文は「大規模言語モデルが、頻繁に参照される事実について誤ることは稀である」と述べています。裏を返せば、学習データにあまり出てこない事柄のほうが危ないということです。

社内の固有名詞、地域の細かい情報、最近できた制度、ニッチな分野の数値。このあたりが要注意です。

ただし、この論文の数値はベースモデルについての記述です。ChatGPTやClaudeのような製品は調整済みで検索機能も併用されているため、論文の数字をそのまま製品の話として読むことはできません。

利用者側の確認が求められています。 総務省の白書は次のように書いています。

生成AIを活用する際には、ハルシネーションが起こる可能性を念頭に置き、検索を併用するなど、ユーザーは生成AIの出力した答えが正しいかどうかを確認することが望ましい。

— 総務省『令和6年版 情報通信白書』

RAG（自社の資料を参照させる仕組み）については、『AI事業者ガイドライン』が次のように書いています。

RAG（検索拡張生成）の活用等により、ハルシネーションの抑制や出力過程・根拠の透明性向上等が期待されている。

— 総務省・経済産業省『AI事業者ガイドライン（第1.1版）』

「抑制」であって「解消」ではなく、「期待されている」であって「する」ではありません。 この言い方は正確で、Microsoftの公式ドキュメントも「検索して取得した内容があっても、モデルは依然として不正確な回答を生成しうる」と明記しています。

RAGを入れても確認は要る、というのが現時点で言えることです。

こう言うと伝わらない 「AIが嘘をつくので使えません」

こう言えば一度で済む 「社内規定について聞くと、存在しない条文番号を出します。規定のPDFを参照させて、根拠の箇所を一緒に表示できますか」

後者なら、相手はRAGと出典表示の話だと判断できます。