Mental World Modeling: 心の状態をシミュレートするAI

AIエージェントが自律的に計画し行動する場面が増えるにつれ、次に世界がどう変化するかを予測する「世界モデル（World Model）」への関心が高まっています。しかし、従来の世界モデルは物体の位置や形状、動きといった物理的な状態の予測に主眼を置いており、人間の行動そのものを左右する「その人が何を知っていて、何を望み、何を意図しているか」という心の状態はほとんど扱われてきませんでした。同じ部屋の同じ物理的な配置を見ていても、そこにいる人が何を信じ、何を望んでいるかによって次の行動はまったく異なるものになります。この単純な事実に、既存の世界モデルは正面から向き合ってこられませんでした。

オックスフォード大学とシンガポール国立大学の研究チームによる論文は、この欠落を埋めるために Mental World Modeling（MWM） という理論的枠組みを提案しています。
MWMの主な特徴および構成要素は以下の通りです：

結合された世界状態の保持: 物理的な状態と心の状態を1つの結合された世界状態として扱います。
一人称視点の観測生成: 対象となるエージェントの視点から見える部分的な観測を生成します。
状態更新のシミュレーション: 候補となる行動が物理・心の両方の状態をどう更新するかをシミュレートします。
ベースライン実装（MENTIS）: MWMを実際に動かすための学習不要のベースライン実装です。
評価データセット（Menti-Bench）: MWMの評価を行うための専用データセットです。

8つの現代的なLLMベースの世界モデルを用いた実験によって、心の状態を明示的にモデル化することの必要性が具体的な数値とともに検証されています。

1. 既存 World Model の課題

World Model における3つの主要な技術系統

World Modelという言葉は近年のAI研究で複数の意味で使われていますが、特に重要な3つの技術系統を整理します。

表現学習型のWorld Model
- 概要: 観測を潜在的な状態表現に圧縮し、その表現空間で遷移ダイナミクスを学習するアプローチです。
- 代表例: Dreamerファミリー、JEPA（Joint-Embedding Predictive Architecture: ピクセル単位の再構成ではなく表現空間で欠損・将来情報を予測するアーキテクチャ）系のモデル。
動画生成型のWorld Model
- 概要: 時間的に一貫した将来の観測映像を直接生成するアプローチです。
- 代表例: Sora、Genie。
3D対話型のWorld Model
- 概要: 持続的な3D空間を生成・編集・書き出しできるアプローチです。
- 代表例: Marble。

物理的基盤に閉じたモデルの限界と具体的な問題

これら3つの系統はいずれも急速に進歩していますが、共通して物理的な基盤（物体・位置・幾何形状・動き・遮蔽・アフォーダンス（環境が行為者に提供する行動可能性））を予測対象としている点は変わりません。世界がどのような見た目で物理的にどう変化しうるかを問うものであり、そこに存在するエージェントは単なる「動く物体の一種」として扱われがちです。

この限界について「目を離した隙にマグカップが戸棚に移される」という例で説明します：

物体の位置だけを追う世界モデル: 戻ってきた本人が「マグカップは元の場所にある」という誤った信念のまま行動することを予測できず、正しく見えるシーンに対して間違った行動を予測してしまいます。
本人の信念も合わせて追跡する世界モデル: 本人が実際に取るであろう行動（例: 元の場所を探す行動）を正しく予測できます。

このような限界は、実務上でも以下のような問題を引き起こします：

サービスロボット: ユーザーの困惑や間接的な助けの求めに気づけない。
医療アシスタント: 患者の不安や信頼度を考慮できない。
協働エージェント: 規範や役割ゆえに物理的には可能でも社会的には不適切な行動を見分けられない。

2. Mental World Modeling の理論的枠組み

MWMの定義と3つの要件

MWMは、外部のシミュレータが以下の3つの要件を満たす枠組みとして定義されています：

結合状態の保持: 物理状態と心の状態を結合した世界状態を保持する。
一人称視点観測の描画: 特定の対象エージェントの視点から見た一人称的な部分観測を描画する。
遷移シミュレーション: 対象の行動に条件づけて次の結合状態をシミュレートする。

状態空間と構成要素

状態空間は直積を用いて $S = S^{phy} \times S^{ment}$ と表され、時刻 $t$ における世界状態は $s_t = (s_t^{phy}, s_t^{ment})$ という組で表現されます。

物理状態 $s_t^{phy}$ に含まれる要素

エンティティ（物体・登場人物）の属性: 内在的属性（大きさ・色・材質など）および文脈的属性（位置・状態など）。
関係性: 空間的・接触的な関係。
環境条件: 時間・場所・照明・音・気温など。

心の状態 $s_t^{ment}$ に含まれる要素

個人識別情報
認識的状態: 信念、注意など。
動機的状態: 目標、意図など。
情動的状態: 感情など。
気質的状態: 価値観、性格など。
行動制約: 規範や行動制約。
社会・環境的状態: 集団レベルの心理状態、人物間の態度や役割関係、場全体の雰囲気。

様々な社会的手がかりを一つの曖昧な変数にまとめず、これだけ細かく型づけている点がこの枠組みの特徴の一つです。

観測および行動の表現

対象エージェントが受け取る観測 $o_t^\epsilon$ と、対象エージェントが取る行動 $a_t^\epsilon$ は、いずれも物理成分と心の成分の組として表現されます：

$o_t^\epsilon = (o_t^{\epsilon,phy}, o_t^{\epsilon,ment})$
$a_t^\epsilon = (a_t^{\epsilon,phy}, a_t^{\epsilon,ment})$

ここで重要なのは、この2成分が独立した別々の行動ではなく、同じ1つの行動が持つ2つの側面である点です。

具体例: 「心配しないで」と言いながら新聞紙で書類を覆う行動
物理的な運び手（carrier）: 新聞紙を動かし声を発する。
心理的な意味内容: 相手を安心させる、あるいは逆に相手に怪しまれる。

状態遷移の定式化

状態遷移も物理チャンネルと心のチャンネルに分けて定式化されますが、両者は独立ではなく互いを条件とします。構造は以下の通りです：

$$T_\theta(s_{t+1} \mid s_t, a_t^\epsilon) = T_\theta^{phy}(s_{t+1}^{phy} \mid s_t^{phy}, s_t^{ment}, a_t^{\epsilon,phy}) \cdot T_\theta^{ment}(s_{t+1}^{ment} \mid s_t^{phy}, s_t^{ment}, a_t^{\epsilon,phy}, a_t^{\epsilon,ment})$$

物理的な次状態 $s_{t+1}^{phy}$ の条件づけ: 現在の物理状態だけでなく心の状態 $s_t^{ment}$ にも条件づけられます。これは、他者の隠れた目標や意図が、その場で起こる物理的な反応（誰かが慌てて動く、など）を左右しうるためです。
心の次状態 $s_{t+1}^{ment}$ の条件づけ: 現在の物理状態・心の状態、および行動の物理成分 $a_t^{\epsilon,phy}$・心理成分 $a_t^{\epsilon,ment}$ のすべてに条件づけられます。行動がどう解釈されるかは、その行動の運び手（何をしたか）と意味内容（何のためにしたか）の両方に依存するためです。

単一表現の不十分さとモデルの位置づけ

物理状態のみ、あるいは心の状態のみを保持する表現は不十分であることを形式的に示すことができます。直感的には以下の2方向の議論に基づきます：

物理配置が同じで心の状態が異なる場合: 心の状態（信念など）が異なれば、取られる行動の確率分布は変わり得ます（虚偽信念課題が典型例）。
心の状態が同じで物理配置が異なる場合: 物理的な配置（何が見えているか、何にアクセスできるか）が異なれば、行動の確率分布は変わり得ます（視認性やアフォーダンスに関わる課題が典型例）。

なお、MWMは人物の私的な意識体験を再現しようとするものではありません。対象の行動と、その行動が周囲に与える影響を予測するために必要な変数を保持する、近似的で外部的なシミュレータという位置づけです。

3. MENTIS: 学習不要で心の状態をシミュレートするパイプライン

MENTISのコンセプトと特徴

MWMの理論的枠組みを実際に検証可能にするために提案されたのが、MENTIS と呼ばれる実装です。

学習不要（training-free）
完全に検査可能（fully inspectable）

パラメータを学習によって調整するのではなく、既存の大規模言語モデル（LLM）に構造化された処理手順を踏ませることで、MWMのモデリング構造そのものが予測精度にどう寄与するかを切り分けられるように設計されています。

6段階の推論パイプライン

MENTISの推論は以下の6段階のパイプラインで構成されます：

状態パーシング: 入力されたシーン（テキスト・画像・動画）を物理・心の両方を含む構造化された現在状態に変換します。
観測生成: 対象エージェントが実際にアクセスできる情報だけをフィルタリングし、一人称視点の観測を作ります。
行動分解: 各選択肢（候補行動）を物理的な運び手と心理的な意味内容に分解します。
分岐シミュレーション: 候補行動ごとに物理チャンネルと心のチャンネルを並列に、互いを条件としながら次状態を予測します。
価値評価: 以下の3つの基準で採点します。安全性・合法性に反する分岐には拒否権（veto）が発動してスコアがゼロになります。
- mental consistency: 対象の信念・目標に照らして本当にその行動を選ぶか、心理的な帰結は妥当か。
- physical plausibility: 物理的に起こり得るか。
- social appropriateness: 社会的な関係・礼儀・規範・役割上の義務に適合するか。
決定: 決定的なルールに基づいて最も評価の高い分岐が選ばれ、選択肢のラベルに対応づけられます。

設計思想と実務上のメリット

設計の背景には、「答えを選ぶ前に必ずその答えに至る分岐を明示的に構築しなければならない」という原則があります。

選択肢のラベルだけを出力する直接回答型のモデルと異なり、MENTISは以下の各段階の出力をすべて機械可読な形で記録します：

パースされた状態
生成された観測
分解された行動
シミュレートされた次状態
スコア表
決定の経緯

これにより、最終的な予測が外れた場合に、以下のどの段階に要因があったかを明確に切り分けられます：

シーンの読み取りが間違っていたのか
対象の観測にグローバルな情報が漏れていたのか
行動の分解が誤っていたのか
遷移の予測が非現実的だったのか
評価器の採点が誤っていたのか

単一のプロンプトで答えだけを返すモデルには真似できない実務上の利点です。

対象エージェント（target pseudo-agent）の役割設定

対象エージェントの役割は、タスクの設定に応じて以下のように対応可能です：

選択肢が与えられている設定（評価用データセットなど）: 選択肢群を行動分岐に変換する役割を担います。
自由度の高い設定（対話エージェントやオープンワールドでの計画など）: 自らの観測から複数の候補行動を提案する方式に対応します。行動生成の質と世界状態遷移の質を混同しない評価が可能です。

4. Menti-Bench: プロセス全体を検証する評価データセット

データセットの構築目的

既存の社会的推論ベンチマークの多くは最終的な答えだけを問う形式であり、システムがMWMの主張する中間変数を構築していなくても表面的な手がかりから正解を当ててしまう可能性がありました。

これを避けるため、最終的な答えの正誤だけでなく状態把握・観測生成・遷移予測といった中間過程が正しく機能しているかを確認できるよう、プロセス全体にゴールドアノテーションを付与した Menti-Bench が構築されました。

データセットの構成データ

Menti-Benchは合計448件の記録から構成され、あわせて2,688件分の状態アノテーションが付与されています。

テキストによる物語: 320件
画像列＋場面説明: 100件（1〜5枚の画像列に短い場面説明を添えたもの）
動画クリップ: 28件（対話や環境音を含む）

各記録には、対象エージェント、最小限に絞り込まれた意思決定に関する設問、自然言語で書かれた6つの候補行動が含まれています。

分類軸と内訳

データセットは以下の4つのシーンカテゴリと5つのドメインに層別されています。

分類軸	カテゴリ / ドメイン	割合
シーンカテゴリ	対人関係	47.5%
	物・資源	28.1%
	空間・知覚	12.9%
	リスク・規範	11.4%
ドメイン	住宅	52.0%
	屋外	14.7%
	商業	12.1%
	公共機関	11.6%
	職場	9.6%

設計上の工夫と品質管理

人物関係: 全体の78%のシーンに2人以上の登場人物が関わっており、他者の心の状態についての推論が必要になるよう設計されています。
選択肢の配置と長さ: 正解が特定の位置に偏らないよう6つの選択肢の位置にほぼ均等に分布させ、正解と誤答の文章の長さもそろえられています。
テキスト記録の品質管理: 敵対的な選択肢バランス調整と、物語本文を見せずに選択肢だけから正解を当てられないかを確認するブラインドプローブを通過したものに限定しています。
動画記録の品質管理: 人手による品質チェックを実施し、実際に作成された50本の音声付き動画のうち採用されたのは28本にとどまるなど、量よりも質を優先した構築方針が取られています。

5. 実験結果: 心の状態モデリングがもたらす予測精度の向上とその内訳

評価対象モデルと検証アプローチ（S0〜S6）

8つの現代的なLLMベースの世界モデルを用いて実験が実施されました：

OpenAI系: gpt-5.6-sol, gpt-5.5, gpt-5.4, gpt-5.4-mini, gpt-4.1
Anthropic系: claude-fable-5, claude-opus-4-8, claude-haiku-4-5

モデリング上のコミットメントを1段階ずつ積み上げていく比較アプローチ（S0〜S6）は以下の通りです：

S0: 選択肢のみから正解を推測
S1: 直接回答
S2: Chain-of-Thought推論
S3: 6回サンプリングした上での多数決
S4: 自由記述の状態メモ
S5: 構造化された物理・心の状態
S6: 分岐シミュレーションと価値評価まで含めた完全なMENTIS

総合的な予測精度と向上内訳

8モデル平均の final-action F1（正解の選択肢をどれだけ正しく当てられたかを表す指標）は以下の推移を示しました：

S0: 31.3%
S6: 87.9%（人間の正答率 98.5% に着実に近づく）

最も大きな精度向上をもたらした要素は以下の通りです：

物語本文を読むこと自体（S0 → S1）: +32.0ポイント
明示的な推論を挟むこと（S1 → S2）: +11.3ポイント

状態のモデリングを深めていく各段階（S2以降）も、それぞれ +2.4、+2.3、+5.3 ポイントの着実な上乗せをもたらしています。

アブレーション実験による各種要素の検証

心の状態モデリングの必要性を検証するためのアブレーション実験結果は以下の通りです。

除去した要素	性能低下
心のチャンネル（信念・意図など）	−12.1ポイント
物理チャンネル	−16.5ポイント
物理・心の遷移を独立に予測（結合を解除）	−6.4ポイント

この序列（完全なMWM ＞遷移の結合解除＞心のチャンネル除去＞物理チャンネル除去）は、8モデルすべてで一貫して確認されています。これにより、以下の3つの構造的主張が裏付けられます：

物理状態だけのモデリングでは不十分である。
心の推論も物理的な裏付けなしでは精度が落ちる。
物理と心の遷移を結合して予測する方が、別々に予測するより優れている。

なお、6回サンプリングした自己整合性（S3）は、最も弱いモデルによる完全なMWM（gpt-4.1 での S6: 84.9%）にすら劣っており、単に計算資源を増やしてサンプリング回数を増やすだけでは明示的な状態モデリングが生む性能向上には届かないことも示されています。

ベースモデルの性能とMWMによる効果の相関

直接回答から完全なMWMへの伸び幅（S6 − S1）は、ベースモデルの性能が強いほど小さくなる逆相関の傾向が見られました。

OpenAI系: 最高性能の gpt-5.6-sol では伸び幅が +21.1ポイント にとどまるのに対し、比較的弱い gpt-4.1 では +28.0ポイント に達します。
Anthropic系: claude-fable-5 の +22.1ポイント に対し、claude-haiku-4-5 は +25.8ポイント となっています。

明示的な状態モデリングによる恩恵はベースモデルの性能が上がっても消えるものではなく、むしろ性能が控えめなモデルほど恩恵が大きいと言えます。

ボトルネックの特定（オラクル介入実験）

パースされた状態・観測・行動・遷移予測のそれぞれを正解（オラクル）データに置き換える介入実験により、ボトルネックが特定されています。

遷移予測オラクルの単独効果: 遷移予測をオラクルに置き換えた場合の伸びが +3.5ポイント と最大。
人間とのギャップ（7.8ポイント）の内訳:
6.3ポイント（81%）: 状態把握や遷移予測といった中間段階の予測誤差に起因。
1.5ポイント（19%）: 評価やデータそのものの難しさに起因。
オラクル適用の重複効果: 4つのオラクルを単純に足し合わせた場合の伸び（+8.7ポイント）が、4つ同時に適用した場合の実伸び（+6.3ポイント）を上回るのは、ある段階の誤り（状態の誤読など）が下流の段階（誤った遷移予測など）にも波及し、両方のオラクルで重複してカウントされるためです。

シーンカテゴリ別・ドメイン別の傾向

シーンカテゴリ別:
- 対人関係シーン: 直接回答の正答率が最も低く、完全なMWMとの差が最大（直接回答 66.5% → MWM 92.9%、伸び幅 +26.4ポイント）。
- 物・資源シーン: 伸びが最も小さく +14.0ポイント にとどまる。
- 心の状態が行動を左右する場面ほどMWMの効果が大きいことが裏付けられています。
ドメイン別:
- 5つのドメイン間では伸び幅が 19.1〜22.8ポイント とほぼ横並びです。
- 効果の大きさが場所ではなく、必要とされる推論の種類に依存することを示しています。

モダリティ別影響と証拠チャンネルへの介入実験

モダリティ別影響: 直接回答段階ではテキスト（70.8%）・画像（67.0%）・動画（64.8%）の間に差が見られますが、構造化された状態を導入した段階でほぼ解消され、シミュレーションを行う前の時点でモダリティ間の性能差が縮まっています。
証拠チャンネルへの介入実験（完全なMWMの性能低下）:
- 画像をキャプションに置き換える: −6.4ポイント
- 動画の音声を除去する: −6.1ポイント
- フレームの順序をシャッフルする: −4.1ポイント
- 映像を取り除き音声のみ残す: −18.8ポイント

段階的に情報を削るほど性能が下がっていく一貫した傾向は、性能向上が実際に画像や音声といった証拠チャンネルを利用した結果であり、テキストの事前知識だけに頼ったものではないことを裏付けています。

6. 実務での使いどころと限界・トレードオフ

MWMが有効な3つの前提条件

MWMは闇雲に「社会的な文脈全般」で有効なわけではなく、以下の3つの条件がそろったときに価値を持ちます：

部分観測性: 世界の全体状態と対象エージェントが実際に知覚している状態の間にギャップがあること。
心の状態への依存: 心の状態（信念・目標・注意など）によって、どの行動が合理的あるいは受け入れられるかが変わること。
行動の社会的意味: 行動が物理的な効果を超えた社会的な意味を持つこと。

これらの条件がそろわない場面（例: カップをつかむだけのグリッパー制御のようなタスク）では、シンプルな物理World Modelで十分であり、MWMの複雑さに見合うだけの価値は生まれにくいとされています。

具体的な適用領域

人と協働するロボット: 相手が自分の存在に気づいているか、物を動かしてよいか、割り込みが許容されるか等の判断。単に「ドアが開いている」という物理的事実だけでなく、誰が誰のためにドアを開け、相手がそれにどう気づき、次に何を期待しているかまで扱える点に価値があります。
介護・医療支援: 失敗の多くは事実の取り違えではなく、相手が何を理解し、何を恐れ、何を前提にしているかを読み違えることに起因します。同意や苦痛、役割上の責任について確信が持てない場合に、自律的に行動するのではなく「尋ねる・委ねる・選択肢を提示する」といった保守的な振る舞いを選べることが強みです。
教育・トレーニング: 同じ誤答でも背景にある原因（知識の欠落、脆い発見的手法、自信のなさ、注意散漫など）によって適切な介入が異なります。学習者の次の心の状態まで見据えた説明の設計に役立ちます。
ゲーム・対話エージェント（生成的な社会的環境）: キャラクターが約束を覚えている、観測していない情報は隠す、相手によって態度を変えるといった、一貫した心理的・規範的な軌跡を保つための遷移メカニズムとして利用できます。

限界および適用上の留意点

最大のボトルネック: 現状のMENTISが抱える最大の課題は「今の状態を正しく把握すること」ではなく「状態がどう変化するかを正しくシミュレートすること」であり、遷移予測の精度向上が今後の優先課題です。
実装上の位置づけ: MENTISはあくまで学習不要のベースライン実装であり、学習によってパラメータを調整する手法との比較や、より複雑な多段階の相互作用への拡張は今後の課題として残されています。
評価上の留意点: Menti-Benchでの対象エージェントの行動は既定の選択肢群から選ぶ設定が中心であり、対象エージェントが完全に自由な行動空間から候補を生成する設定での検証は限定的である点に留意が必要です。

おわりに

今回紹介した論文では、物体だけでなく人の心を追う世界モデルとして Mental World Modeling（MWM） という理論的枠組みを提示し、それを学習不要で検査可能な形で実装した MENTIS、そしてプロセス全体を検証できる評価データセット Menti-Bench を通じて、その必要性を実証的に裏付けています。

OpenAI系・Anthropic系にまたがる8つのLLMベースの世界モデルを通じて一貫して確認された結果は明快であり、心の状態の明示的なモデリングは人間の行動予測に不可欠です。物理チャンネルと心のチャンネル、そして両者の結合的な遷移のすべてが揃って初めて高い予測精度に到達します。とりわけ効果が大きいのは対人関係が絡む場面であり、物理的な操作が中心のタスクではその恩恵は限定的です。

実務的には、サービスロボットや医療・介護アシスタント、教育エージェント、対話型の社会的エージェントなど、人との関わりの中で次の行動を判断するシステムを設計する際に、単純な物理World Modelを組み込むだけでは不十分であり、対象が何を知り何を望んでいるかを明示的な状態として保持する設計が有効な選択肢になり得ることが示唆されます。ただし、部分観測性・心の状態への依存・行動の社会的意味という3条件がそろわない単純なタスクにまで無理に適用する必要はなく、タスクの性質を見極めた上で導入を判断することが求められます。

今後の発展としては、現状のボトルネックである遷移シミュレーションの精度向上に加え、対象エージェントが選択肢に縛られず自由に行動を提案する設定への拡張、そして学習ベースの手法との統合が課題として残されています。世界の見た目だけでなく、その世界を人がどう理解しているかまでモデル化する必要がある、というのが論文が投げかける大きな問いです。

More Information:

arXiv:2607.27201, Hao Fei, Yiran Zhao, 「Mental World Modeling」, https://arxiv.org/abs/2607.27201

codemajinのえんとろぴぃ

Blog

Mental World Modeling: 心の状態をシミュレートするAI