近年、深層学習を大量のデータで一度事前学習し、それを多様なタスクに使い回す「基盤モデル（Foundation Model）」という言葉が、天文学のデータ解析でも目にする機会が増えています。ただし、Transformerを使い、自己教師あり学習で、大規模なデータで事前学習したというだけでその名で呼んでよいのかという問いは、あまり整理されないまま議論が進みがちです。

天文学における基盤モデルという概念は、第一原理から整理・解説することができます。その中心軸となるのは「転移する表現（Representation）」という考え方で、ニューラルネットワークが訓練中に作り上げる入力の内部記述こそが基盤モデルの本体であり、個々のタスクへの適合はその副産物に過ぎないと位置づけられます。

そのうえで、Transformer・自己教師あり学習・大規模事前学習という「道具」を揃えることと、実際に表現が機器・母集団・タスクをまたいで転移するという「目的」を達成することは別問題である、という視点が極めて重要です。

この記事では、転移可能な表現とは何かという基礎から、それを作るための技術的な道具立て（アーキテクチャ・自己教師あり学習・マルチモーダル統合・スケーリング則・微調整）、天文学における具体的な実例、そして現状における限界とオープンクエスチョンまでを順に紹介します。

1. 基盤モデルの土台にある考え方

1.1 「表現（Representation）」とは何か

• 従来の捉え方とその見落とし
  • 多くの天文学者にとって、深層学習は「柔軟な回帰・分類の一種」に見えます。
  • ニューラルネットワークは大量の調整可能なパラメータを持つ関数で、入力を出力に変換するよう訓練されるという点では、多項式フィットやランダムフォレストの親戚だと捉えても大きく間違ってはいません。ラベル付きデータが十分にある単一タスクに限れば、この理解で不都合はありません。
  • しかし、この見方には見落としがあります。ネットワークは訓練中、目の前のタスクに適合するだけでなく、同時に入力の内部記述を作り上げています。
• 表現の定義と数式化
  • 入力の内部記述は「表現（Representation）」と呼ばれ、基盤モデルにおいて実際に使い回される資産はこの表現の方であり、個々のタスクへの適合は表現学習の副産物に過ぎないと位置づけられます。
  • 生の観測を \(\mathbf{x}\) と書くと、ネットワークは以下の変換を行います。
    $$\mathbf{h} = f(\mathbf{x})$$
  • ここで \(f\) は「エンコーダ」と呼ばれ、出力される \(\mathbf{h}\) が表現あるいは埋め込み（Embedding）です。

• オートエンコーダによる体現
  • この考え方を最も分かりやすく体現するのがオートエンコーダです。
  • 学習プロセス:
    1. エンコーダ \(f\) が観測（スペクトル・画像・光度曲線など）を狭いボトルネック \(\mathbf{h} = f(\mathbf{x})\) に圧縮します。
    2. デコーダ \(g\) がラベルなしで \(\hat{\mathbf{x}} = g(\mathbf{h}) \approx \mathbf{x}\) を復元するよう訓練されます。
  • 得られたボトルネック \(\mathbf{h}\) こそが再利用可能な成果物であり、以下のような下流タスクにそのまま渡せます。
    • 恒星パラメータの推定
    • 銀河の形態分類
    • 異常検知

• 伝統的な圧縮手法（PCA・因子分析）との比較
  • 少数の情報量への圧縮自体は目新しいものではなく、主成分分析（PCA）や因子分析も線形代数によって同様の処理を行います。
  • 線形手法とニューラルネットワークの違い:
    • 線形手法（PCA・因子分析）: 観測 \(\mathbf{x}\) を少数の係数ベクトル \(\mathbf{h}\) の線形結合として記述します。ただし、捉えられるのはデータの中で分散が大きい方向（すなわち支配的な相関関係）にとどまり、観測を生み出した物理的要因そのものとは一般に一致しません。
    • ニューラルネットワーク: 表現が非線形かつ層状に構築される点がこの制約を取り払い、単純な相関を超えたより根本的な構造を捉えることができます。

1.2 言語モデルで実証された「転移」という成功例

• 「汎化」と「転移」の区別
  • 表現が訓練データの外でも役立つかどうかを確かめる問いに、最も明確な答えを出したのが言語モデルです。ここで以下の2つの概念を区別する必要があります。
    • 汎化（in-domain）: 訓練データと同じ分布の新しい事例でうまくいくこと。
    • 転移（cross-domain）: タスク・機器・母集団が変わっても機能し続けること。
  • 基盤モデルが目指すのは「転移」であり、そのレシピは「一度、広範なデータで特定のタスクを念頭に置かずに事前学習し、対象やデータが変わるたびに適応させる」というものです。
• 転移の検証方法とFew-shot 学習
  • 転移を検証する方法は、モデルが訓練されていないタスクを与え、どれだけ少ないタスク固有のラベルで機能するかを数えることです。
    • Zero-shot 学習: ラベルを一切使わない学習。
    • Few-shot 学習: ごく少数の事例だけを使う学習。希少なクラスの天体が数例しか確認されていないという、天文学がしばしば直面する状況そのものです。
  • 大規模言語モデルはこの基準を明確にクリアしており、訓練されていないタスクをZero-shotで、あるいはプロンプトに置かれた数例から実行できます。
• 事前学習の優位性（ラベル数と精度の関係）
  • ラベル付き事例の数を横軸に、下流タスクでの精度を縦軸に取ると、以下の傾向が得られます。
    • スクラッチ学習: 低い水準から出発し、ラベル増加に伴って緩やかに改善します。
    • 事前学習＋適応: はるかに高い水準から出発し、ごく少数のラベルで十分な精度に達します。ラベルがまったくない場合でもゼロショットである程度機能します。
  • 事前学習の優位性はラベルが乏しい領域で最大になり、ラベルが豊富になるにつれてスクラッチ学習が追いついてくるという傾向を示します。
• 「グロッキング（Grokking）」現象
  • 単なる訓練データの暗記ではなく学習された構造であることを示す象徴的な現象が「グロッキング」です。
  • 2つの整数の法演算のような明確に定義されたタスクで訓練を続けると、以下の挙動を示します。
    1. 初期段階: 訓練誤差がゼロになった後も、テスト精度は偶然の水準に張り付いたままになります。
    2. 転換点: 訓練をさらに続けると、あるところでテスト精度が突如として立ち上がり、暗記から一般則の適用へと切り替わります。
  • この移行の背後では、汎用の回路が形成されると同時に暗記した解が刈り込まれていく様子が重みの変化として観察されます。これは、データへの適合と転移する規則の学習が異なる2つの内部状態であることを示す例です。

1.3 天文学が転移を必要とする2つの理由

言語が転移の達成可能性を示した一方で、天文学は転移を必要とする側の代表格です。データの性質に由来する以下の2つの事情が、互いに補強し合いながら転移可能な表現を必要としています。

• 1. ラベルの希少性
  • サーベイの巨大化とラベルの偏り: 現代のサーベイ観測は膨大で、Vera C. Rubin Observatoryは数百億の天体をカタログ化し、Euclidは10億を超える銀河を撮像する計画ですが、信頼できるラベルが存在するのはそのうちごく一部、しかもしばしば偏った部分にとどまります。
  • 人手ラベルの限界: 市民科学プロジェクトGalaxy Zooのような人手によるラベル付けは、すでに撮像された銀河のごく一部しかカバーできず、人手の作業速度がサーベイの規模に追いついていません。
  • 「ラベル転移」の限界: 高品質なスペクトルや物理モデルのフィッティングから得たラベルを、より安価で大量の観測（低分解能スペクトルなど）に転用する「ラベル転移」も広く使われていますが、参照機器の限界・重複サンプルの選び方・元のラベルを割り当てた物理モデルの限界をそのまま引き継いでしまいます。
  • 表現学習の価値: 豊富な未ラベルの観測から学習した表現があれば、必要な参照ラベルの数を減らし、同じ情報が機器をまたいで通用するかどうかを検証できます。
• 2. シミュレーションと観測の間のギャップ（ドメインギャップ）
  • シミュレーションの活用: 物理に基づく順方向モデル（シミュレーション）は、実際のラベルがほとんど存在しない領域でも大量のラベル付き事例を生成できるため広く活用されています。特に宇宙論のように観測できる宇宙が1つしかない分野では、高精度シミュレーションが訓練・検証の際の正解データの代わりを務めることも多くあります。
  • 合成データと実際の空の乖離: 合成データは実際の空ではありません。シミュレーションで訓練したモデルは実機器に持ち込まれる際、入力される物理・ノイズ・機器応答・較正・母集団のいずれもがシミュレータの想定とずれる可能性に直面します。
  • 表現の価値: この「合成データと観測データの間のギャップ」を埋めること自体が転移問題であり、単一のシミュレーションセットに合わせ込まれた表現より、ドメインの変化を乗り越えられる表現の方が高価値とされています。

2. 転移可能な表現をどう作るか？

2.1 良い表現が備えるべき性質とトレードオフ

これさえ守れば転移が保証されるという万能のレシピは存在しませんが、良い表現が備えがちな性質と、それを後押しする設計上の選択肢を整理することができます。

• 良い表現の4つの主要な性質
  • 読み出しやすさ（readability）: 少量のラベルデータから目的の量を読み出せること。少数ラベルで学習した線形の読み出し器（linear probe）がどれだけうまく機能するかで測られます。
  • 不変性（invariance）: ノイズや機器が変わっても、同じ天体が表現空間の同じ場所にマッピングされること。
  • もつれのなさ（disentanglement）: 別々の物理的要因が表現の別々の方向に分離されていること（理想）。
  • 疎性（sparsity）: 1つの入力が少数の座標しか励起しないこと（理想）。
• 目標間の緊張関係（トレードオフ）
  • 上記の目標は互いに両立するとは限りません。
  • 例えば、機器に関する情報をすべて捨てることはサーベイ間の転移に役立つ一方、その同じ機器情報こそがノイズや選択関数のモデル化に必要な場合があります。
  • このように「不変性」と「十分性」の間には鋭い緊張関係が存在します。

2.2 アーキテクチャと帰納バイアス

アーキテクチャは、入力のどの部分がどう相互作用できるかを決める接続パターンです。特定のアーキテクチャや自己教師あり学習が必須というわけではなく、教師あり学習で訓練された通常のネットワークの中間特徴も一部はタスクやデータセットが変わっても生き残ります（例：分光学において、単純な全結合ネットワークでも少量の微調整データで異なる分光分解能の間に転移可能）。

それでもアーキテクチャが重要なのは、あらかじめ組み込まれた仮定である「帰納バイアス」によって、特定の種類の関数を学習しやすくし、別の関数を学習しにくくするからです。

• 主要アーキテクチャ系統と帰納バイアス
  • 畳み込みニューラルネットワーク（CNN）
    • 帰納バイアス: 画像の空間的な局所性（「同じ局所パターンが画像のどこに現れても価値がある」という仮定）。
    • 特徴: 天文学者が固定したカーネルで画像をマッチトフィルタリングして天体を検出する作業に近いですが、ネットワークはそのフィルタをあらかじめ固定するのではなくデータから学習します。
  • グラフニューラルネットワーク（GNN）
    • 帰納バイアス: ノードが列挙される任意の順序に答えが依存しないという仮定。
    • 特徴: カタログや粒子集合のように自然な順序を持たないデータに適しています。
  • Transformer
    • 帰納バイアス: 「注意機構（Attention）」に基づき、入力の各要素がデータから計算される重みで他の要素すべてとブレンドされます。
    • 恒星スペクトルとの相性: 恒星スペクトルと非常に相性が良いです。1つの元素の吸収線は波長全体に散らばっており、その元素の存在量を求めるにはどの線がどれだけ診断的かによって重み付けしながらそれらすべてを組み合わせる必要があります。固定された局所カーネルが隣接する波長をひとまとめにしてしまう畳み込みは異なる物理を混ぜ合わせがちですが、注意機構は離れていても関連する吸収線を直接結び付けられます。測定間隔が不均一な時系列データの扱いにも応用されます。
    • トレードオフ: 注意機構が引き換えに手放すのは組み込みの順序感覚で、位置や波長といった情報をデータに添えて別途与える必要があります。

2.3 自己教師あり事前学習

訓練の目的関数（プレテキストタスク／代理タスク）は、どの計算に報酬を与えるかを決定します。自己教師あり学習（Self-Supervised Learning）では、人間によるラベルを使わず、入力そのものから目的変数を自ら作り出して事前学習を行い、その後にラベルが利用可能になった時点で短い教師あり段階（微調整）を続けます。

使われている目的関数は大きく3つの系統に分けられます。

• 1. データの欠損・未来予測（生成的）
  • 概要: データの欠けている部分や未来の部分を予測します。
  • 手法: 自己回帰的な言語モデルでは、直前までのトークン列 \(x_1, \ldots, x_{t-1}\) から次のトークン \(x_t\) を予測するよう、対数尤度の総和 \(\sum_t \log p(x_t \mid x_1, \ldots, x_{t-1})\) を最大化します。
  • 天文学への適用: スペクトルにおける次の波長ビンの予測などが該当します（ただしスペクトルは言語と異なるノイズと順序の性質を持ちます）。これらの手法は「生成的」で、訓練後は既存のデータを符号化するだけでなく新しいサンプルを生成できるようになります。
• 2. ボトルネックを通じた入力の再構成
  • 概要: 入力とその復元結果の平均二乗誤差（再構成損失）を最小化します。
  • 手法:
    • オートエンコーダ: 線形なエンコーダ・デコーダを使う場合の最適解はPCA空間そのものに一致し、非線形な場合は曲がったデータ面をより少ない座標に折りたたみます。恒星スペクトルでは、ボトルネックが温度・重力・組成などを保持し、予測できないピクセル単位のノイズは捨て去られることが望まれます。収縮性・ノイズ除去・スパースといった正則化が使われます。
    • マスクドモデリング: 隠された部分だけを再構成する手法。波長領域の一部を隠して埋めさせることで、鉄の吸収線が強ければ別の場所でも強くなるといった線の共変関係をモデルに利用させ、温度・密度・組成がスペクトルの形をどう決めているかをラベルなしで学習させます。
• 3. ジョイント埋め込み（対照学習・自己蒸留）
  • 概要: 同じものの異なる見え方（2枚の拡張画像、画像とキャプション、2つの機器で観測した1つの星のスペクトルなど）を表現の中で揃えます。
  • 対照学習（Contrastive Learning）:
    • マッチする見え方同士を近づけ、マッチしない見え方（負例）同士を遠ざけます（例：CLIP）。
    • 2つの機器で観測した1つの星のスペクトルの場合、表現には両機器が共有する情報（温度・重力・組成）が残り、各機器固有の分解能・ノイズ・較正情報は捨てられます（転移する部分が生き残る）。
    • InfoNCE損失関数:
      $$\mathcal{L} = -\log \frac{\exp(\mathrm{sim}(\mathbf{z}_x, \mathbf{z}_y)/\tau)}{\exp(\mathrm{sim}(\mathbf{z}_x, \mathbf{z}_y)/\tau) + \sum_k \exp(\mathrm{sim}(\mathbf{z}_x, \mathbf{z}_k^-)/\tau)}$$
      （ここで \(\mathbf{z}_x = f(\mathbf{x})\), \(\mathbf{z}_y = g(\mathbf{y})\)、マッチしない事例は負例 \(\mathbf{z}_k^-\)、\(\mathrm{sim}\) はコサイン類似度などの類似度、\(\tau\) は温度パラメータ）
    • 負例（negative pairs）の役割と注意点: すべての入力を1点に押し込めてしまう「崩壊」を防ぐ役割を果たしますが、負例の選定に結果が敏感になる原因にもなります。
  • 自己蒸留（BYOL, DINO）:
    • 負例を使わないアプローチ。ネットワークのある版がもう一方の版の出力に一致するよう訓練し、表現が単一の定数値に崩壊するのを防ぎます。
• 複数目的関数の組み合わせ
  • 3つの目的関数はいずれも単独ではスペクトルを支配する物理パラメータそのものを捉えきれませんが、複数組み合わせることで異なる方向から制約がかかり、データをつくった少数の物理的要因（もつれのない転移可能な記述）に近づくのではないかという期待があります（ただし保証ではなく検証が必要です）。

2.4 モダリティの統合（マルチモーダル学習）

モダリティ（Modality）とは、画像・スペクトル・光度曲線・スカラー特性の表など、1種類の測定を指す言葉です。天文学では1つの銀河の画像（サイズ・形状・向き）とスペクトル（ガスや星の組成・電離状態・運動）のように、複数のモダリティで補完的な物理情報を捉えることが一般的です。

• 統合における課題：「モダリティギャップ」
  • 同同一天体のペアデータを用いて共有情報を学習しますが、モダリティ間で次元数・ノイズ・分解能が異なるため、マッチする天体同士が表現空間で近くに来ない「モダリティギャップ」と呼ばれる不整合が発生します。
• モダリティ統合の2つの方法
  • 独立型（モジュール型）
    • 特徴: 各モダリティに重量級の別々のエンコーダを維持したまま、その出力同士の関係のみを対照損失（CLIP流）や小さな学習済み連結部で繋ぎます。
    • メリット: 各エンコーダをモジュール式で独立して再利用可能に保て、訓練コストも低く抑えられます。
  • 統合型（単一モデル型）
    • 特徴: 各入力を共有フォーマットに変換したうえで、全モダリティにまたがる単一のネットワークをまとめて訓練します（例：AION-1）。
  • メリット: あるモダリティから別のモダリティを生成したり欠けたモダリティを埋めたりできます。
  • デメリット: 全体をまとめて訓練するコストがかかります。
• 統合設計の注意点
  • 互いに補完的なモダリティ同士は表現を鋭くしますが、冗長なモダリティ同士はノイズ打ち消し程度にとどまり、ノイズが多い・偏ったパートナーとの整合は害になりえます。
  • 共有される物理的要因と、各機器が独自に提供する追加情報の両方を保持するような明示的設計が必要です。

2.5 スケーリング則と創発的能力

モデルの性能をどこまで引き上げられるかは、パラメータ数 $N$・訓練データ量 $D$・計算量 $C$ という3つの量で決まります。

• ニューラルスケーリング則
  • テスト損失 \(\mathcal{L}\) は、モデルサイズ \(N\)、データ量 \(D\)、計算量 \(C\) に対してべき乗則に従って低下し、下限 \(\mathcal{L}_\infty\) に漸近します。
    $$\mathcal{L} \propto N^{-\alpha}$$
  • ボトルネックの注意: いずれかの軸がボトルネックになると他の軸の効果もすぐ頭打ちになるため、モデルサイズとデータ量は歩調を合わせて増やす必要があります。
  • 創発的能力（emergent abilities）: ある規模を超えると、グロッキングのように質的に新しい能力が現れます。
• スケーリングのエンジニアリング課題
  • オプティマイザ・学習率スケジュール・重み初期化の体系的選択が必要です。
  • maximum-update parametrization: ネットワークの規模が大きくなっても訓練ダイナミクスが安定するよう学習率と初期化をスケールさせ、小さなモデルで調整したハイパーパラメータを大きなモデルへ高コストな再探索なしで引き継ぐ手法です（恒星スペクトルでも有効性が確認されています）。
• 天文学におけるスケーリングの限界と帰納バイアス
  • 天文学の観測データ量は言語モデルほど巨大になれず、望遠鏡と空による物理的制約を受けます。シミュレーションによる拡張もコストやドメインギャップを伴います。
  • 計算量ではなくデータが制約となる場面では、大規模化そのものよりも、アーキテクチャや目的関数に組み込まれた帰納バイアス（モデルが学習せずに済む既知の構造）の方が重要になります。

2.6 微調整（Fine-Tuning）と適応手法

事前学習で作られた表現 \(\mathbf{h} = f_\theta(\mathbf{x})\) を特定の科学的タスク（赤方偏移、恒星パラメータ、形態分類など）に適合させる作業が微調整です。

• 重みの動かし方による3つの選択肢
  • 1. 線形プローブ（linear probe）
    • 重み \(\theta\) を凍結したまま、上に小さな出力層（例：\(\hat{y} = \mathbf{w}^\top \mathbf{h} + b\)）のみを訓練。ラベルが表現の線形関数に近い場合（例：スペクトル埋め込みからの星の温度読み出し）に有効。
  • 2. 低ランク適応（LoRA: Low-Rank Adaptation）
    • 事前学習済みの大きな重み \(\mathbf{W}_0\) を凍結し、小さな加算項 \(\mathbf{W} = \mathbf{W}_0 + \mathbf{B}\mathbf{A}\)（ランク \(r \ll d\)）のみを学習。パラメータ数を約 \(d/2r\) 分の1に削減して新しいサーベイに適応。
  • 3. フルファインチューニング
    • 全重み \(\theta\) を同時に更新。最も多くを適合させられる一方、最も多くのラベルを必要とし、事前学習表現を上書きしてしまうリスクがあります。
• タスク訓練のタイミング（スケジュール）の選択肢
  • 逐次的スケジュール: まず自己教師あり損失 \(\mathcal{L}_{\text{SSL}}\) のみを最小化し、その結果にタスク損失 \(\mathcal{L}_{\text{task}}\) を適合させる。
  • 同時スケジュール: \(\mathcal{L}_{\text{SSL}}\) と \(\mathcal{L}_{\text{task}}\) を重み付けしながら一度に最小化する。
    • メリット: ラベルが乏しい場合に役立つ。
    • デメリット: 2つの損失のバランス調整が必要で、タスク損失が支配的になれば表現がタスク特化しすぎ、自己教師あり損失が支配的になればラベルが表現を十分に形作れなくなります。
• 天文学における推奨設定
  • 分布シフトが存在するラベルが乏しい設定では、軽量な出力層＋逐次的スケジュールがコスト面で安価であり、かつ表現が転移可能な物理を捉えられているかの最も明快な検証となります。

3. 天文学における基盤モデルの試み

3.1 シミュレーションと観測のギャップを埋める

天文学の観測データは物理プロセスによって生み出されるためラベルが乏しい一方、物理に基づくシミュレータは大量のラベル付き合成データを生成できます。しかし、合成データで訓練したモデルを実際の空に適用する際には「ドメインギャップ」が立ちはだかります。

• ドメインギャップの要因
  • モデルが物理そのものだけでなく、シミュレータ固有の癖（原子線リスト、サブグリッド処方、分解能、ノイズ、較正、パラメータの母集団分布）まで学習してしまうため。これは単なるランダムノイズの付加では解消できません。
• ギャップ克服のための4つの戦略
  • フォワードモデリング: シミュレーションを機器・ノイズモデルに通し、観測されたように見せかけたデータで訓練する。
  • データ拡張: 既知の観測上の効果をあえて変化させ、特定実現例への固着を防ぐ。
  • ドメイン適応: 合成分布と観測分布の間の対応関係を学習する（例：CYCLE-STARNET はペアの対応関係を使わずに理論スペクトルを観測の見た目に変換）。
  • 合成データによる事前学習: 豊富なシミュレーションで事前学習してから小規模な観測データで較正する（例：SPECTRAFM はマルチフィデリティエミュレーションの発想で波長域をまたいで実施）。
• 検証上の必須条件
  • これらの戦略が実際に有効であるかは、訓練データのランダム分割ではなく、機器・母集団・信号対雑音比（S/N比）で区切ったホールドアウトデータで検証されなければなりません。

3.2 モダリティ別の実例

• 凍結済み表現の科学的活用法
  • 回帰・分類: 小さな出力層を追加して物理パラメータの回帰やクラス割り当てを実施。
  • 最近傍探索: 埋め込み空間の幾何構造を利用した検索。
  • 異常検知: 機器の不調・処理の失敗・新しい物理などの外れ値をフラグ付け（トリアージの入口として活用）。
  • シミュレーションベース推論（SBI）: コンパクトな要約統計量として使用。
  • 生成モデル: 事前分布や事後分布のサンプラーとして組み込み（ただし事後分布のカバレッジの検証が必須）。
• モダリティ別一覧表

モダリティ	データ	代表的なモデル	主な科学的ターゲット
時系列	Keplerなどの光度曲線	ASTROMER、FALCO	変光・突発天体・異常検知
分光	Gaia XP・DESIのスペクトル	Leung & Bovyの手法、SpecCLIP	恒星パラメータ・元素組成・赤方偏移
撮像	サーベイ画像	Hayat et al.の手法、AstroPT	形態分類・測光的赤方偏移・大規模探索
マルチモーダル	画像・スペクトル・スカラー値	AstroCLIP、AION-1	クロスモーダルな推定
その他のモダリティ・メッセンジャー	電波・重力波など	SKATR、GWAK	天体解析・推論・異常検知
物理シミュレーション	偏微分方程式・流体力学場	MPP、Walrus	代理モデル・異なる物理系間の転移

• モダリティごとの具体的な取り組み
  • 時系列データ
    • ASTROMER: 数百万天体分の未ラベル光度曲線でTransformerを事前学習し、少数のラベルで変光星分類に微調整。観測時刻と誤差も入力に含め、不均一な観測間隔そのものを情報として処理。
    • FALCO: Keplerデータに適用し、変光分類・表面重力の推定・フレア検出を単一の事前学習済みモデルから実行。
  • 分光データ
    • Gaia XPスペクトル: 恒星スペクトルが温度・表面重力・化学組成という少数の物理量で決まるため見通しが良い。単一のTransformerがパラメータ推定・スペクトル生成・マスク波長穴埋めを1モデルで実行。
    • SpecCLIP: DESIサーベイに対し低ランク微調整で機器間整合を拡張（ただしラベル分布の裾野が疎な領域で精度低下）。
  • 撮像データ
    • 1つの銀河を回転・切り出し・ノイズ付加で2つの拡張版にし、SimCLR方式の対照学習やDINO（自己蒸留）を適用。画像パッチのマスクや系列的な予測を使う手法も存在。
  • マルチモーダルデータ
    • AstroCLIP: 銀河の画像とスペクトルを1つの埋め込み空間に整合し、どちらの入力からでも相互検索・予測を可能化。
    • AION-1: 画像・スペクトル・スカラー測定値を共有フォーマットに変換し、全モダリティのマスク部を予測する単一Transformerを訓練。
  • 物理シミュレーション
    • 偏微分方程式ソルバーの出力そのものを訓練対象とし、複数の異なる方程式の解を1つのTransformerに同時事前学習。
    • Walrus: 連続体力学の広い範囲に拡張し、転移可能な物理学習の最も進んだ例の一つとなっています。

4. なぜ「基盤モデル」という看板が実力に追いついていないのか

4.1 訓練データ内スコアと転移能力の解離

学習に使ったデータの内側でのスコアが高くても、それが「転移」を意味するとは限りません。

• 金属量予測の特徴量の例
  • モデルが獲得した特徴量が以下のいずれであるかによって、転移性が決定されます。
    1. 元素の吸収線そのものの符号化（母集団や機器が変わっても生き残る）
    2. 訓練セット内でたまたま成り立っている温度との相関
    3. サーベイ固有の較正
  • 後者2つも訓練データ内スコアを向上させますが、領域を超えて機能するのは1つ目だけです。そのため、機器・母集団・S/N比の全体をホールドアウトした評価が不可欠となります。

4.2 基盤モデル化を阻む5つの壁

• 1. 教師あり手法に対する明確な優位性が乏しい
  • ラベルが豊富な場面では、事前学習済みモデルがタスクに直接訓練した教師あり学習に勝てないことが多くあります。
  • 事前学習の有無以外の条件（ラベル量、出力層、評価方法）を揃えた「マッチドベースライン」との比較が欠けています。
  • 参照ラベル自体が物理モデルのフィッティング結果である場合、パイプラインの系統誤差を模倣した報酬になっている可能性があります。
• 2. 合成データと観測データのギャップがほとんど埋まっていない
  • シミュレーションから実データへの橋渡し戦略が、機器や母集団でホールドアウトされた実データ上で有効性を示した例は乏しく、ランダム分割での検証にとどまっています。
• 3. 帰納バイアスがデータに合っていない可能性
  • Transformerの組み込みの仮定がスペクトルや画像に最適とは限りません（単純な全結合ネットワークで分解能間転移に成功した事例もあります）。
• 4. トークン化に自然な答えがない
  • 言語と異なり、天文学データには自然な「トークン」単位が存在しません。
  • 全結合での回避、パッチ切り分け、離散的コードブック学習などが取られていますが、アーキテクチャの優位性を鈍らせています。スペクトルを線プロファイル等に物理的に即して分割するトークン化が課題です。
• 5. 再構成は弱い代理タスクである
  • マスク値や欠損値を予測する「再構成」は、全ピクセルの一致に報酬を与えます。
  • しかし物理は暗い連続光に対する少数の吸収線のような局所的特徴によって運ばれるため、再構成損失は大分散成分（連続光など）に支配され、重要なかすかな診断的信号を逃しがちです（PCAと同様のトレードオフ）。

4.3 評価方法と物理的意味づけに関する課題

• 現行の評価方法の限界
  • ランダムな訓練・テスト分割は、サーベイの選択関数・深さ・観測間隔・ターゲティング・品質カットを温存してしまうため、機器由来の相関に頼るだけで高スコアが出ます。
  • 真の転移の検証条件: 空の領域全体・時間範囲全体・機器全体・母集団全体・S/N比の範囲全体をホールドアウトし、疎にサンプルされた裾野データを別扱いにする必要があります。
  • 混同しやすい3つの主張:
    • 「正確な予測」
    • 「変化を乗り越える転移」
    • 「表現が物理的構造を捉えている証拠」
    • ※基盤モデルという看板が本来意味すべきなのは後の2つだけです。
• 物理的構造の捉え方の難しさ
  • 予測損失は表現の特定座標を特定の物理量（温度、金属量など）に対応づけることを強制しません。
  • 物理的な仮定がないとデータを再現する座標の組み合わせは無限に存在し、解釈不能な形で混ざり合ってしまいます。
  • 物理的意味づけには、ラベル付き基準・シミュレーション介入・既知の対称性・対照実験が別途必要です。ただし、解釈可能性と精度は必ずしもトレードオフではなく両立しうるとされています。

5. 今後の研究の方向性

限界を克服するための4つの研究方向性を挙げることができます。いずれの場合も「機器や母集団の変化に対してホールドアウトされたデータで機能した証拠」が必須です。

5.1 既存の表現からのさらなる読み出し

• 概要: すでに学習された埋め込みに含まれる未活用情報を再訓練なしで抽出し理解するアプローチ。
• シンボリック回帰の活用:
  • AI Feynman・PySR・ESR・PhySO などのツールを用い、埋め込み座標と物理量の間の明示的な関係式（力の法則、ダークマター、宇宙物質密度式など）を探索・回復します。
  • 局外範囲・次元解析・極限での振る舞いなどの制約に照らした検証が必須です。
  • ブラックボックスエンコーダを物理的関係式に近い形へ変換できる可能性があります。

5.2 データに合わせたアーキテクチャの進化

• 物理法則の組み込み:
  • 保存則・対称性・偏微分方程式・微分可能シミュレータ（自動微分を許すシミュレータ）を通じて、物理をアーキテクチャや損失関数に組み込みます。
  • トレードオフ: 正しい物理での外挿を助ける一方、あまりに厳格な制約は未発見の効果を抑え込む危険があります。
  • 軌道運動の例: 汎用系列モデルはニュートン力学を回復せずに軌道を予測できますが、グラフモデルは力の法則を回復できます（「予測の一致」と「メカニズムの等価性」の分離）。
• 新しいバックボーンの検討:
  • 長系列を注意機構より低コストで処理できる状態空間モデル（SSM）が、高分解能スペクトルや長い光度曲線に適している可能性があります。

5.3 報酬からの学習（強化学習）の可能性

• LLMでの成功と天文学への適用限界:
  • LLMは出力の質に対する報酬強化学習で大きく進歩しましたが、天文学の課題の多くは正解のある「測定・推論」であり、最大化すべき報酬が存在しません。
• 有効な用途:
  • 限られた望遠鏡時間という資源をどう使うかを見極めながら、不確実性を減らすように次の観測対象や露光を選ぶ「クローズドループの実験計画」に適合します。

5.4 表現空間での学習（JEPA・世界モデルへのアプローチ）

• JEPA（Joint-Embedding Predictive Architecture）の仕組み:
  • 生ピクセルの再構成ではなく、隠れた部分や未来の部分の「表現」を予測します。
  • 目的関数の最小化式:
    $$|q(f(\mathbf{x})) – \mathrm{sg}[f(\mathbf{x}’)]|^2$$
    （ここで \(q\) は予測器、\(\mathrm{sg}[f(\mathbf{x}’)]\) は第2の見え方に対する停止勾配付き表現）
• 意義:
  • 重要な構造を保持しながら予測できない細部を手放す設計です。
  • シーンの変化や働きかけへの反応を予測する「物理AI」や、ロボティクスの視覚-言語-行動モデルに通じる発想であり、転移可能なエンコーダが求める目的関数に近づく一歩となります。

おわりに

これらの手法の根底にあるのは、機械知能という働く概念への到達であり、その最も広い形が「世界モデル（World Model）」と呼ばれているものです。これは訓練に使われたデータを超えて役立つだけの世界の仕組みを捉えたモデルを指し、予測的な埋め込みから生成的なシミュレータ、計画を立てるエージェントまで多くの定義とアプローチが並び立ち、単一の合意には至っていません。天文学にとってその具体的な核心は、機器・母集団・タスクをまたいで通用する表現です。

世界モデルが最終的にどのような形を取るにせよ、天文学がスケールだけでそこに到達することはありません。天文学は言語での成功を後押ししたような潤沢なデータを持たないデータ不足の分野であり、借り物の道具立てをそのまま適用するだけでは足りず、進展は表現をどう学習するかという工夫にかかっています。

この記事で紹介した内容を実務に引き寄せるなら、着目すべき点は3つに整理できます。第一に、事前学習の効果を主張する際は、事前学習の有無以外の条件（ラベル数、出力層の構造、評価方法）を揃えたマッチドベースラインとの比較が欠かせません。第二に、転移を検証する評価は訓練データのランダムな分割ではなく、機器・母集団・信号対雑音比の範囲でホールドアウトしたデータに対して実施する必要があります。第三に、教師なしの事前学習だけでは表現の各座標が特定の物理量に一意に対応する保証はなく、その物理的な解釈にはラベル付きの基準や既知の対称性による別途の検証が求められます。

天文学が持つ強みは、データのあらゆる特徴が物理によって決まり、支配方程式の一部が既知であり、複数の機器が同じ天体を捉えているという点にあり、これによってモデルが獲得した表現を物理法則や複数モダリティに照らして検証できます。人間の判断だけを頼りにする分野とは対照的に、天文学はこうした手法の消費者であるだけでなく、その試験場にもなりえ、科学がAIに奉仕するのと同じくらいAIが科学に奉仕するような双方向の関係が期待されます。

言語モデルは転移可能な構造が単なる期待ではなく実際に学習できることを示す存在証明であり、同じことを物理的な世界、すなわち転移がいまだ稀な領域で実現することが今後の課題です。目標と道具立てを切り離して捉え、データに適合しただけの表現と何かを理解した表現とを分ける証拠を求め続けることが、その道筋となります。

More Information

• arXiv:2608.02573, Xiaosheng Zhao, Yuan-Sen Ting, 「Foundation Models for Astrophysics」, https://arxiv.org/abs/2608.02573