近年、ChatGPTやLlamaといった大規模言語モデル（LLM）は目覚ましい発展を遂げ、自然言語処理を中心として研究、産業、社会に大きな影響を与えています。しかし、その一方で、「ハルシネーション」（幻覚）と呼ばれる、もっともらしいが事実と異なる、あるいは無意味な情報を生成する現象が深刻な課題となっています。

本記事では、このLLMのハルシネーションがなぜ避けられないのか、その根源的な理由を最新の学術論文に基づき、計算可能性、計算複雑性、そして確率論という3つの異なる理論的視点から深く掘り下げます。LLMの開発者や利用者である皆様が、これらの理論的制約を理解し、安全かつ効果的にAIを活用するための現実的な対策を検討する際の参考となれば幸いです。

LLMの「ハルシネーション（幻覚）」とは何か？

このセクションでは、LLMの「幻覚（ハルシネーション）」が具体的にどのような現象を指すのかを定義し、その種類を明確にすることで、以降の議論を理解できるようにします。

LLMの「幻覚」とは、モデルがもっともらしいが事実と異なる、非論理的、あるいは無意味な情報を生成する現象を指します。これは、モデルが訓練データに存在しない部分を埋めようとする際に発生し、訓練やファインチューニング、さらにはRetrieval-Augmented Generation（RAG）のような高度な技術を用いても発生し得る深刻な課題です。ハルシネーションは、その内容が軽微な不正確さから完全に架空の主張まで多岐にわたり、往々にして高い確信を持って提示されます。

ハルシネーションは主に以下の種類に分類されます：

事実の誤り（Factual Incorrectness）: これは、LLMが既存のデータに基づいているにもかかわらず、不正確な情報を提供する現象です。例えば、患者の血糖値を誤って報告するケースなどが該当し、モデルの知識ベース内の事実データの不適切な処理に起因します。

誤解釈（Misinterpretation）: LLMが入力されたプロンプトやその文脈を正しく理解できず、不正確な応答を生成する場合に発生します。これには、モデルがその広大な知識ベース内で意図や文脈を誤分類する「コーパスの誤解釈」や、ユーザーの入力が曖昧であるためにモデルが意図を誤解する「プロンプトの誤解釈」が含まれます。

情報不足（Needle in a Haystack）: 「干し草の中の針」問題とも呼ばれ、LLMが広大な知識ベースから特定の正確な情報を検索する際に直面する課題です。これにより、モデルが重要なデータポイントを見落とし、不完全な情報を提供する（例：特定の出来事の複数の原因のうち一つだけを挙げる）場合や、正確な事実と誤りを混ぜて出力する（例：歴史的な出来事の年号を誤る）「部分的な誤り」が発生します。

捏造（Fabrications）: モデルの訓練データに全く根拠のない、完全に虚偽の内容を創作する現象です。事実の誤りが既存データの不正確な表現であるのに対し、捏造はモデルによる純粋な「発明」であり、架空の研究や存在しない人物の引用などを生成することがあります。これは、LLMが根拠となる情報なしに出力を生成する際に発生します。

これらの多様なハルシネーションは、LLMの安全性や倫理に関する懸念を高め、その実用的な展開における重大な課題となっています。ハルシネーションは完全には排除できないものの、その影響を限定する技術の研究が進められています。

なぜLLMは幻覚を見るのか？—理論的な限界

このセクションでは、LLMの幻覚が単なるエラーではなく、その根源的な構造に起因する避けられない現象であるという理論的背景を解説します。

計算可能性の観点から

LLMの「幻覚」は、そのモデルアーキテクチャや学習アルゴリズム、訓練データに依存しない、避けられない性質を持つことが示されています。研究では、LLMを「計算可能なモデル」と「計算可能な正解関数（ground truth function）」との間の不整合として幻覚を形式化しています。この形式的な世界が現実世界の一部であるため、現実世界のLLMにおいても幻覚は避けられないという結論に至ります。

学習理論の結果を用いると、LLMはすべての計算可能な関数を学習できないため、汎用的な問題解決器として使用される限り、必然的に幻覚を引き起こします。これは、現在のLLMを含むあらゆる計算可能なLLMに適用され、「避けられない」という結論につながります。

さらに、以下の要素も幻覚発生の構造的な原因として指摘されており、これらはLLMの内部的な性質に根ざしています。

停止問題の決定不能性: LLMの「停止問題」（特定の入力に対してモデルがいつ停止するか、または無限にループするかを事前に予測すること）は決定不能であることが数学的に証明されています。これには、LLM自身が生成するテキスト長を事前に予測できないことを意味します。この予測不可能性は、モデルが矛盾する、または自己言及的なステートメントを生成する可能性につながり、「私はこの文を幻覚している」のような、真偽を判定できない出力を生み出すことがあります。

訓練データの完全性の欠如: 人間の知識は広大かつ常に変化し続けるため、どんなに大規模な訓練データセットであっても、すべての事実を網羅することは不可能です。モデルがこの知識のギャップを埋めようとする際に、もっともらしいが誤った情報を生成する原因となります。

知識ベースからの正確な情報検索の決定不能性: 「干し草の中の針」問題のように、LLMが広大な知識ベースから特定の正確な情報を見つけ出すことは、決定不能な問題であると理論的に解釈されています。これは、情報がデータセット内に存在しても、正確に参照できないために幻覚が発生する原因となります。

ユーザーの意図分類の決定不能性: 自然言語の曖昧さや多義性により、LLMはユーザーの入力プロンプトやその文脈を100%正確に分類・解釈できない可能性があります。例えば、「lead」という単語が化学元素を指すのか、リーダーシップを指すのかを文脈から完全に識別できない場合、誤った応答を生み出すことがあります。この意図分類もまた、決定不能な問題であると示されています。

計算複雑性の観点から

LLMの能力は、その内部的な計算コストによって限界が設けられていることを、具体的な例を交えながら説明します。LLMのコアな演算（次のトークン生成）は、入力文字列の長さ \(N\) とモデルの次元 \(d\) に対して、O(\(N^2 \cdot d\))の計算複雑性を持ちます。この複雑性は、LLMが実行できるタスクの種類に直接的な制約を与えます。

能力限界を超えるタスク: LLMは、その内部的な計算コストであるO(\(N^2 \cdot d\))を超える計算複雑性を持つタスクを正確に実行することはできません。

• トークン列挙: 例えば、「与えられた \(n\) 個のトークンセットから長さ \(k\) のすべての文字列を列挙する」タスクは、O(\(n^k\))という指数関数的な時間計算量が必要となります。入力サイズが大きくなると、この計算量はLLMの能力をはるかに超えるため、正確な出力を期待することはできません。
• 行列の乗算: ナイーブな行列乗算アルゴリズムはO(\(n^3\))の時間計算量を持つため、大規模な行列の場合、LLMの計算能力を超える可能性があります。
• これら以外にも、最適化問題、物理シミュレーション、暗号解読など、O(\(N^3\))以上の計算複雑性を持つタスクは数多く存在し、LLMが単独でこれらを正確に処理することは困難です。

エージェントAIにおけるタスク実行と検証の限界: LLMを、自律的にタスクを実行する「エージェントAI」として利用する場合でも、タスクの計算複雑性がO(\(N^2 \cdot d\))を超えると、そのタスクを正確に実行することは困難です。さらに、「巡回セールスマン問題」（TSP）のような指数関数的な計算時間を要するタスクでは、LLMベースのエージェントは、他のエージェントが生成した解決策の正確性を検証することすらできません。これは、検証プロセス自体が元のタスクと同等か、それ以上に高い計算複雑性を要求することが多いためです。ハードウェアやソフトウェアの形式検証におけるモデルチェックも同様に、指数関数的な状態空間爆発の問題を抱え、LLMの能力を超えることがあります。

これらの計算可能性と計算複雑性の根源的な限界は、LLMの幻覚が単なる偶発的なエラーではなく、その設計と能力に内在する避けられない特性であることを示しています。

幻覚は避けられないが、制御は可能か？—実用的なアプローチ

前述のセクションでは、LLMの「幻覚」がその根源的な構造に起因する避けられない現象であることを理論的に解説しました。しかし、このセクションでは、幻覚が避けられない現象であると同時に、実用的な観点からはその影響を大幅に低減できる可能性を議論し、既存の対策手法とその限界を紹介します。

確率論的アプローチ

計算可能性理論の悲観的な結論に対し、確率論的視点から幻覚を捉えることで、実用的な希望が見えてきます。

幻覚発生確率の低減: 幻覚は数学的に避けられないと証明されますが、十分な品質と量の訓練データと適切なアルゴリズムがあれば、幻覚の発生確率を任意に小さくできることも数学的に証明されています。これは、LLMが幻覚を引き起こす無限の入力インスタンスが存在するとしても、それらのインスタンスの発生確率が非常に小さい場合、情報理論の観点から実用上は無視できるかもしれません。例えば、非負整数 \(i\) が確率 \((1/2)^i\) で発生する場合、特定の整数 \(m\) 以上の無限集合 \({m, m+1, \ldots}\) が持つ合計確率は \((1/2)^m\) となり、\(m\) が増加するにつれて任意に小さくできます。シャノンの符号化定理も、この考え方を支持しており、情報理論の分野では、確率が任意に小さくできるエラーは実用上無視できると見なされます。

幻覚の真の原因: したがって、LLMの幻覚が実際に実用上の問題となる場合、その原因は「生来的な不可避性」ではなく、データセットの質や量、または利用しているアルゴリズムに起因すると結論付けられます。これは、適切なデータ収集とモデルチューニングが、幻覚問題の解決にどれほど重要であるかを示唆しています。例えば、訓練データが十分に適格で十分に長い場合、幻覚の発生確率は任意に小さくできます。

既存の対策とその限界

多くの研究者が幻覚を軽減するための様々な手法を提案していますが、それらの効果と限界を理解することが重要です。

大規模なモデル、モデルアンサンブル、訓練データの増加:

• LLMは、パラメータ数や訓練データの増加によって「創発能力」を示すと信じられており、これにより幻覚が減少すると考えられがちです。実際に、モデルのパラメータを増やすことで、より複雑な正解関数を学習できるようになり、訓練データのサイズを増やすことは、学習の収束を助ける効果があります。
• しかし、LLMの計算能力の根本的な限界を超えることはできません。例えば、指数関数的な計算複雑性（例：O(\(n^k\))やO(\(n^3\))）を持つタスクに対する幻覚を完全に排除することは不可能です。これは、たとえ多くの層や訓練データが追加されたとしても、モデルの能力範囲を超える問題に対しては幻覚をなくせないことを意味します。モデルアンサンブルも、本質的には単一のLLMと見なせるため、同様の限界があります。

プロンプト技術（Chain-of-Thought (CoT)、自己整合性 (Self-Consistency)、Chain-of-Verification）:

• これらのアプローチは、モデルに推論プロセスを明示させたり、複数の推論経路を生成し最も一貫したものを選択したり、あるいは回答を検証させたりすることで、論理的な矛盾や事実の誤りを減らすのに役立ちます。これにより、LLMが人間の好む、より低い複雑性の解法に導かれる可能性があります。
• しかし、LLM自身が幻覚を完全に排除することは不可能であるという理論的限界があるため、これらの手法も完全な解決策ではありません。モデルは、論理的には妥当に見えるが、事実としては不正確な推論チェーンを生成する可能性があります。

外部補助（ガードレール、フェンス、知識拡張LLM/RAG）:

• ガードレールやフェンスは、LLMの出力を人間の価値観、倫理、法的要件に合わせる原則であり、望ましくない結果の生成を防ぐ安全制約として機能します。これらは形式的にプログラム可能であり、LLMの振る舞いを明確に制御できるため、幻覚抑制に有効です。ただし、現実世界でのスケーラビリティは未解決の課題です。
• 知識拡張LLMやRetrieval-Augmented Generation (RAG)は、外部知識（知識グラフやデータベースなど）や記号推論（論理など）を活用して、LLMの訓練と推論の両方を支援します。ChatGPTのような人気のチャットボットは、検索エンジンやコードインタープリター、計算機などのツールを利用して、LLM本来の能力を超える複雑な問題を解決し始めています。このアプローチは、LLMが訓練データ以外の情報を受け取ることを可能にするため、理論的な限界が直接適用されません。そのため、形式的な世界においては幻覚の有効な緩和策となり得ますが、現実世界でのスケーラビリティはまだ未解決の課題です。

不確実性定量化（Uncertainty Quantification）:

• この技術は、LLMが生成する情報の不確実性を評価し、潜在的な幻覚を特定するのに役立ちます。これは、モデルが自信を持って誤った情報を生成する問題に対処するためのものです。
• しかし、不確実性定量化は、あくまで幻覚の特定を助けるものであり、幻覚そのものを防止するものではありません。モデルは依然として、高い確信度で誤った情報を生成する可能性を排除することはできません。

今後の展望と実務における考慮点

これまでの議論を通じて、LLM（大規模言語モデル）の「幻覚」がその根源的な構造に起因する避けられない現象でありながらも、実用的な観点からはその影響を大幅に低減できる可能性が示されました。このセクションでは、これらの知見を踏まえ、LLMを実務で扱う際考慮すべき点と、今後の研究・開発の方向性について述べます。

実務における考慮点

LLMの利用者は、その能力と限界を深く理解することが不可欠です。

幻覚の不可避性の認識: LLMを汎用的な問題解決器として利用する際、特に入力と出力のペアのみで訓練されたモデルは、その計算能力を超えた問題において幻覚が避けられないという事実を認識しておくことが極めて重要です。LLMの幻覚は、モデルの根本的な数学的・論理的構造に内在する避けられない特徴であり、完全に排除することは不可能であるとされています。

出力の厳格な検証: したがって、数学的な問題、論理的推論、または高い精度が要求されるタスクに対してLLMを使用する場合、その出力は常に適切な検証の対象とすべきです。経験的な研究では、LLMは組み合わせリストの生成や線形順序の推論といった、人間にとっては単純でも計算上複雑なタスクで頻繁に幻覚を引き起こすことが示されています。GPT-4のような最新のモデルでさえ、このようなタスクにおいては失敗することが確認されています。

安全性が問われる意思決定における人間の関与: 安全性や倫理性が問われる意思決定にLLMを自動的に使用することは避けるべきです。人間による監視と外部補助（ガードレール、知識ベース、Human-in-the-Loopなど）の組み合わせが不可欠です。人間の判断、共感、倫理観は、LLMが模倣できない複雑な要素であり、特に安全性が重視される状況では、LLMの幻覚によるエラーが許容できない結果を招く可能性があります。例えば、カスタマーサービスにおける誤情報提供による金銭的損失や、ロボット工学における自動センシング・アクチュエーションでの幻覚は、現実世界で危険な結果をもたらす可能性があります。

精度と効率のトレードオフ: LLMの「幻覚」は、精度と効率の間のトレードオフとして捉えることができます。LLMは、人間には不可能な規模と速度で情報を処理し、意思決定やアイデア生成を迅速化します。速度と情報処理量が圧倒的なシナリオでは、LLMの不正確さが低頻度であれば許容できる妥協点となり得ます。逆に、精度が極めて重要な状況では、LLMの出力は人間による検証と補完が必須です。創造的なライティングやアイデア生成のようなタスクでは、LLMの予測不能な出力が革新の源となる可能性もあります。このような文脈では、幻覚的な側面はインスピレーション、イノベーション、創造性の源として肯定的に捉えるべきです。

今後の研究・開発の方向性

幻覚が避けられない現象である以上、今後の研究・開発は、その影響を実用上無視できるレベルまで低減し、安全な利用を確立することに焦点を当てる必要があります。

幻覚軽減技術の深化: 新しい学習技術やアーキテクチャ設計、例えば大規模モデル、モデルアンサンブル、訓練データの増加は幻覚を軽減する効果がありますが、LLMの計算能力の限界を超えるものではありません。Chain-of-Thought（CoT）や自己整合性（Self-Consistency）、Chain-of-Verificationのようなプロンプト技術は、モデルの推論プロセスを明確にし、論理的な矛盾や事実の誤りを減らすのに役立ちます。しかし、LLM自身が幻覚を完全に排除することは不可能であるという理論的限界があるため、これらの手法も完全な解決策ではありません。

外部補助と複合システム: ガードレールやフェンス、外部知識ベース（Retrieval-Augmented Generation: RAG）といった外部補助は、訓練データだけでは得られない情報を提供し、幻覚抑制に非常に有効です。RAGは特に、検索エンジンやコードインタープリターなどのツールを活用して、LLMの能力を超える複雑な問題を解決する可能性を秘めていますが、現実世界でのスケーラビリティはまだ未解決の課題です。これらの複合システムは、今後の幻覚対策の主要な方向性となります。

幻覚リスクの定量化: モデルが生成する情報の不確実性を評価し、潜在的な幻覚を特定する不確実性定量化（Uncertainty Quantification）技術は有効ですが、モデルが自信を持って誤った情報を生成する可能性を排除するものではありません。幻覚リスクの定量化は、LLMが安全に展開できる問題領域を特定するための重要なステップとなります。確率論的アプローチは、このようなリスクを評価する上で有用であり、幻覚の発生確率を任意に小さくできる可能性が示唆されています。これは、幻覚が無限の入力インスタンスで発生しても、その発生確率が十分に小さければ、情報理論の観点から実用上無視できると見なせるためです。

能力境界の明確化と規制: LLMの能力の「上限」を明確にし、安全な展開のための規制の枠組みを構築することも喫緊の課題です。LLMが幻覚を引き起こしやすい問題（数学的・論理的推論、計算複雑性の高いタスクなど）を特定し、その能力境界に関するコンセンサスを理論家と実務家の間で形成することが重要です。

AIリテラシーの向上: 最終的に、LLMがその限界内で責任を持って使用されるためには、ユーザー側のAIリテラシーの向上が不可欠です。ユーザーがLLMを「万能の真実の源」としてではなく、「強力な支援ツール」として認識し、自身の常識と専門知識を活用して幻覚的な内容を判断できることが重要であると強調されています。

おわりに

大規模言語モデル（LLM）における「幻覚」は、その根本的な数学的・計算的な構造に根ざした避けられない現象であると、形式的な分析を通じて明確にされています。しかし、この事実がLLMの活用を悲観的にするものではありません。近年の研究は、幻覚の発生確率を実用上無視できるレベルにまで低減可能であることを示唆しています。無限の入力インスタンスで幻覚が発生し得たとしても、その発生確率が十分に小さければ、情報理論の観点から実用上問題ないと見なせるためです。

したがって、LLMを実務で扱う際、その強力な能力を最大限に引き出しつつ、限界を正確に理解することが求められます。特に高精度や安全性が求められる場面では、人間による監督と、ガードレール、知識ベース、Human-in-the-Loopといった外部ツールの積極的な活用を組み合わせることが不可欠です。LLMを「万能ツール」としてではなく「強力な支援ツール」として認識し、幻覚を「共存すべき特性」として捉えることが重要です。継続的な技術的・運用的な工夫を通じてその影響を最小限に抑えることが、信頼性の高いAIシステムを構築し、LLMの可能性を最大限に引き出す近道となります。

More Information

• arXiv:2409.05746, Sourav Banerjee et al., 「LLMs Will Always Hallucinate, and We Need to Live With This」, https://arxiv.org/abs/2409.05746
• arXiv:2401.11817, Ziwei Xu et al., 「Hallucination is Inevitable: An Innate Limitation of Large Language Models」, https://arxiv.org/abs/2401.11817
• arXiv:2502.12187, Atsushi Suzuki et al., 「Hallucinations are inevitable but can be made statistically negligible. The “innate” inevitability of hallucinations cannot explain practical LLM issues」. https://arxiv.org/abs/2502.12187
• arXiv:2507.07505, Varin Sikka et al., 「Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models」, https://arxiv.org/abs/2507.07505