近年、GPT-5などの最先端モデルが、数学や物理、生物学といった様々な分野で新たな知見を生み出し、人間レベルの知能を示しているという報告が相次いでいます。モデルが複雑な課題を解き、科学の研究プロセスを大幅に加速させる様子は、まさに次世代の技術革新を感じさせます。ですが、こうした主張が果たして「科学的根拠」に基づいているのか、という点には強い疑念も呈されています。

本記事では、科学哲学者カール・ポパーが提唱した『反証可能性（Refutability）』という概念を軸に、LLMによる科学的発見に潜むメソドロジー（手法）上の落とし穴を分析します。LLMが科学を加速させるという楽観的な意見に対し、検証の透明性や再現性の欠如という観点から、その実態を客観的に議論します。

1. 科学の定義と「反証可能性」の欠如

そもそも「科学的である」とはどういうことでしょうか？ 科学哲学者のカール・ポッパーは、科学的主張には『反証可能性（Refutability / Falsifiability）』が必要であると提唱しました。簡単に言うと、「その主張が間違っていると証明できる（反証できる）実験や観察の手掛かりが残されていること」を意味します。

ところが、現在のLLMによる推論や科学的発見に関する報告の多くは、この条件を十分に満たしていないという厳しい指摘があります。研究の完全な開示と透明性がなければ、第三者が実験を再現して誤りを見つけることができないため、それらは厳密な科学的主張とは呼びにくいためです。

科学の文脈では、この「中身が見えないこと」が以下のような形で反証を困難にしています。

• 訓練データの不透明性: モデルが示した「発見」が、実は訓練データに含まれていた情報の単なる「検索（Retrieval）」に過ぎないのではないか、という疑念を検証する手段が提供されていません。
• モデルの動的な更新（Model Dynamics）: モデルは絶えずアップデートされるため、たとえ同じプロンプトを使っても、後から結果を再現して検証することが困難です。
• 対話ログの欠如: 発見に至るまでの人間とモデルの全対話（プロンプトの履歴）が公開されないことが多く、真の知見がどこから生まれたのかを評価できません。

このように、検証の透明性が確保されないまま「LLMが科学を加速させた」と結論づけることには、手法上の大きな落とし穴があるといえます。

2. 「真の発見」か「単なる検索」か：訓練データの不透明性

LLMが「未知の数学的定理」や「新しい物理法則」を様々な分野で提示するようになり、科学の加速が期待されています。ですが、それが「真の発見」なのか、あるいは訓練データの「単なる検索（Retrieval）」に過ぎないのかという点は、慎重に見極める必要があります。

モデルが示した知見の新規性を検証する上で、現状では以下のような技術的な壁が存在します。

• 訓練データのブラックボックス化: モデルの訓練データは一般に非公開で、外部から内容を検索する手段もありません。そのため、報告された知見が学習データ内に既に存在していたのかを客観的に検証する手段が欠如しています。
• 高度な再構成による「検索の隠蔽」: LLMは極めて高い言語能力を持つため、訓練データ内にある別の言語や異なる表現で書かれた情報を、あたかも独自の発見のように再構成して提示してしまうリスクがあります。

この「検索の罠」を象徴するグラフ符号（Clique-avoiding codes）の実例も報告されています。ある研究者がこの問題の解法を求めた際、GPT-5は非常にエレガントな証明を提示しました。しかし調査の結果、その証明は3年前に発表された既知の論文と全く同一の内容だったことが判明したのです。モデルは出典を明示せず、あたかも自らの推論であるかのようにこれを出力していました。

こうした事象は、悪意がなくとも「既知の知見」を「新しい発見」として誤認させてしまう危うさを示唆しています。科学的な誠実さを保つためには、LLMが出力した「知見」が単なる情報の再利用ではないことを証明するための、より高度な透明性が求められています。

3. 再現性を阻む技術的要因：モデルの動態とHuman-in-the-Loop

LLMエンジニアにとって馴染み深い「モデルの継続的なアップデート」や「プロンプトエンジニアリング」といった手法。これらは開発現場では歓迎されますが、科学的な妥当性を担保する上では、様々な側面で大きな障壁となります。

まず挙げられるのが、モデルの動態（Model Dynamics）による再現不可能性です。主要なLLMは日々更新されているため、たとえ同じプロンプトを使用しても、過去の実験結果を第三者が再現することが極めて困難です。一部の専門家から、実験時と再現試行時の間にモデルがアップデートされることを防ぐ「セーフガード」が現状存在しないことが指摘されています。

さらに、人間とモデルのやり取り（トランスクリプト）が公開されないことも問題視されています。科学的な発見を報告する際、全対話の履歴がなければ、その知見の何割がLLMによるもので、何割が人間の巧みな誘導によるものかを客観的に評価できないためです。

これに関連して、スキャフォールディング（Scaffolding / 足場かけ）への依存が指摘されています。物理学におけるブラックホールの対称性発見の事例では、以下のような挙動が報告されています。

• 当初の失敗: GPT-5は当初、複雑な曲がった時空の問題に対し、5分以上の推論の末に「対称性は存在しない」と誤った回答を実施しました。
• 人間の介入（ウォームアップ）: 研究者が「足場」として、まず平坦な時空での単純化した問題を提示しました。
• 成功: このガイドによってモデルが「プライミング（事前刺激）」された結果、最終的に正しい対称性を導き出すことに成功しました。

このように、モデルの成果が「人間の適切なガイド」に強く依存している場合、それを純粋なAIの知能と呼ぶべきか、人間の能力の延長と呼ぶべきかの境界線は曖昧になります。科学における再現性を確保するためには、こうした人間が介在するプロセス（Human-in-the-Loop）の全容を透明化することが不可欠なのです。

4. セレクションバイアスと反実仮想の欠如

科学的な「対照実験（Controlled Experiment）」の視点で見ると、いくつかの重要な懸念が浮かび上がります。

• 失敗データの隠蔽（Selection Bias）: 研究プロセスにおける「失敗した試行」のデータは報告や出版がなされない傾向にあり、これが成功例だけを強調するセレクションバイアスを引き起こしています。たとえば、何十回ものプロンプト調整の末にようやく得られた1つの成功例だけを「AIによる発見」として報告することは、LLMの実力を過大に評価するリスクを生みます。科学的な誠実さを保つためには、すべての試行過程にアクセスできる透明性が必要です。
• 反実仮想の欠如（Lack of Counterfactuals）: AIによる「加速」を正しく評価するには、反実仮想（Counterfactual）の視点が不可欠です。これは平たく言うと、「もしAIを使わなかった場合に、同じリソースを使って人間がどこまで到達できたか」という比較です。現状の報告の多くは、AIを使わなかった場合のパフォーマンス（対照群）との比較が実施されておらず、AIによる加速が実質的なものかどうかを客観的に評価することが困難です。

システムのA/Bテストを実施する際、必ずコントロール群（比較対象）を用意するのと同じように、科学の領域でも「AIなしの場合」との厳密な比較が求められています。単なる成功事例の提示にとどまらず、こうした統計的な落とし穴を避けることが、LLMを用いた科学研究の信頼性を高める鍵となります。

5. 科学的透明性のためのガイドライン

LLMによる推論や発見を科学的に正当なものとして評価するためには、開発者や研究者といった実務者レベルでの厳格な透明性が不可欠です。科学的な誠実さを保ち、様々な議論に応えるための具体的なガイドラインが提案されています。

具体的には、主に以下の3つの要素を公開することが求められています。

• アルゴリズムとデータの公開: 訓練アルゴリズムや訓練データ、そしてそのデータを検索できるツールを公開することです。これにより、提示された知見が単なる既存情報の「検索（Retrieval）」ではないかを第三者が検証可能になります。
• 完全な対話履歴（Transcript）の開示: プロンプトだけでなく、チャット間の要約を含むすべての文脈情報を公開する必要があります。これにより、発見のどの部分がLLMによるもので、どの部分が人間による誘導（Scaffolding）の結果なのかを客観的に評価できます。
• リソースと貢献度の明示: 研究に参加した個人、費やされた努力の量、および使用された計算リソースを明記することです。これは、AIと人間の共同作業において、効率性の向上を正当に測るために重要です。

こうしたガイドラインの確立は、単なる研究の作法にとどまりません。LLMが他者の著作を適切に「解釈」して推論しているのか、それとも「記憶」して自分のものとして提示しているのかという、社会的なデータ活用の正当性を判断する基準にもなります。科学としての信頼性を築くためには、こうしたオープンな姿勢が求められています。

おわりに

LLMは、様々な文献から非自明な関連性を見つけ出したり、研究の着想を支援したりする強力な「パートナー」としての可能性を秘めています。ですが、現在のメソドロジーに基づいた「LLMによる科学的発見」という主張の多くは、反証可能性を欠いた非科学的なものであると言わざるを得ません。

データの不透明性や再現性の欠如といった多くの課題を放置したままでは、AIの成果を客観的に検証することは困難です。LLMが真に科学的研究を促進させるためには、ブラックボックスな推論に依存するのではなく、透明性の高い検証プロセスをシステム設計の段階から組み込むことが不可欠です。

More Information

• arXiv:2303.12712, Sébastien Bubeck et al., 「Sparks of Artificial General Intelligence: Early experiments with GPT-4」, https://arxiv.org/abs/2303.12712
• arXiv:2511.16072, Sébastien Bubeck et al., 「Early science acceleration experiments with GPT-5」, https://arxiv.org/abs/2511.16072