近年、LLMエージェントの開発が盛んに進められていますが、現在の研究は現在の状態から次の行動を決定する「方策（Policy）」の改善にほぼ限定されています。しかし、汎用的なエージェントを実現するためには、行動によって環境がどう変化するかを予測する「世界モデル」の概念が不可欠です。

この欠落したピースを埋めるべく、Qwenチームは言語モデルを基盤とした世界モデル（LWM: Language World Model）である「Qwen-AgentWorld」を発表しました。このモデルは、様々なエージェント環境の高度なシミュレーションを可能にし、エージェント自身の性能向上を実現しています。

この記事では、この言語世界モデルがもたらす「分離」と「統合」という2つの具体的な応用パラダイムについて解説します。さらに、その知能を支えるアーキテクチャや、CPT・SFT・RLからなる3段階の学習パイプラインの裏側、評価基盤の設計思想からモデルの内部推論パターンに至るまで、エージェント開発の実務に活きる技術的詳細を深く掘り下げてご紹介します。

1. 言語世界モデルの基礎概念とアーキテクチャ

言語世界モデル（LWM: Language World Model）は、エージェントの能力を押し上げるために、主に2つのアプローチで応用されます。

• Decoupling（分離）: LWMをエージェントから切り離し、強化学習用の「環境シミュレータ」として機能させる手法です。仮想マシンなどの重いインフラを用意せずとも、様々な環境のシミュレーションを大規模に展開できます。また、現実には発生しづらいAPIエラーや部分的な情報欠落などを意図的に引き起こすことで、エージェントの対応力を鍛え上げる利点があります。
• Unifying（統合）: LWMの予測能力を、エージェント自身の内部モデルとして組み込む手法です。エージェントは行動を確定する前に「この操作をすると環境はどう変化するか」を脳内でシミュレーションできるようになります。これは「未来に向けたリフレクション（内省）」として働き、より高度な意思決定を支えます。

目的関数の定式化

LWMの推論プロセスは、以下の数式でシンプルに定式化されます。

$$ \hat{o}_{t+1} = f_{\theta}(c, o_{\le t}, a_{\le t}) $$

この言語モデル \(f_{\theta}\) は、シミュレーションの前提条件となるシステムプロンプト（\(c\)）、これまでの観測履歴（\(o_{\le t}\)）、そしてエージェントのアクション履歴（\(a_{\le t}\)）という3つの文脈情報を組み合わせて読み込みます。そして、直近のアクションに対して環境がどう応答するか、つまり次の観測状態（\(\hat{o}_{t+1}\)）を予測します。

7ドメインの観測（Observation）表現

本モデルは、性質の異なる7つのドメインを統一されたテキスト形式で表現し、シミュレーションを進めます。

• テキスト環境（MCP、Search、SWE、Terminal）: ターミナルの標準出力、ファイル内容、検索結果などをそのままテキストとして扱います。たとえばソフトウェアエンジニアリング（SWE）ドメインでは、コード実行によるメモリエラーのトレースバックまで詳細に予測します。
• GUI環境（Android、Web、OS）: ピクセル単位の画像（スクリーンショット）ではなく、画面の構造情報をテキスト化して扱います。具体的には、Android環境では「UIビュー階層（UI view hierarchy）」、WebやOS環境では「アクセシビリティツリー（accessibility tree）」を用いることで、視覚的なUIの変化を言語モデルで処理できるようにしています。

ドメイン (Domain)	行動 (Action)	観測 (Observation)	コア能力 (Core Capability)
MCP	JSON形式のツール呼び出し	ツールの応答（ファイル内容、DB結果など）	事実に基づく世界知識
Search	Web検索 / Web抽出	会話履歴（検索クエリ＋検索結果）	事実に基づく世界知識
SWE	読む / 編集 / Bash実行など	ツール出力（ファイル内容＋差分情報）	コード実行に関する推論能力
Terminal	Bashコマンド / キーストローク	ターミナル出力（stdout＋シェルプロンプト）	長い文脈を踏まえた因果推論
Android	タッチ / スワイプ / 入力など	UIビュー階層＋アプリ状態	画面状態に基づく視覚的推論
Web	クリック / 入力 / ナビゲート	アクセシビリティツリー＋ブラウザ状態	画面状態に基づく視覚的推論
OS	マウス / キーボード操作	アクセシビリティツリー＋ウィンドウ／アプリ状態	画面状態に基づく視覚的推論

2. 統一環境軌跡スキーマとデータ構築

性質の異なる7つのドメインを単一の言語モデルで学習させるため、Qwen-AgentWorldはすべてのデータを共通の「統一環境軌跡スキーマ」に変換して扱います。このスキーマの根幹となるシステムプロンプトは、以下の5つのコンポーネントで構成されています。

ここでは、ドメイン全体で固定される「静的」な要素と、データごとに注入される「動的」な要素を区別して設計しているのが特徴です。

• Task Description（静的）: そのドメインにおける世界モデルの役割と、シミュレーションの目的を明確に定義します。
• Action Space（静的※）: エージェントが利用可能なツールやコマンドの仕様を定義します。
  （※MCPやSWEドメインではリポジトリやサーバーごとに異なるため動的に生成されます）
• Demonstrations（静的）: 模範となるアクションと観測結果のペアを例示し、モデルに望ましい応答形式を提示します。
• Initial State（動的）: インタラクション開始前の前提条件です。たとえば「Ubuntuのディレクトリ構造」や「アプリのUI画面」など、軌跡ごとに異なる環境の初期状態を注入します。
• Simulation Instruction（動的）: 「ディスク容量不足によるエラーを意図的に発生させる」といった、特定の軌跡にのみ適用される特別なシミュレーション条件を指示します。

このように、静的なルールでシミュレーションの土台を固めつつ、動的な要素を注入することで、様々なシミュレーション環境を柔軟に構築できるようになっています。

Trajectory-to-Turn Expansion（ターン単位のデータ拡張）

学習データを構築する際、「Trajectory-to-Turn Expansion」という強力な手法を導入しています。エージェントと環境のやり取りは連続したマルチターンの対話ですが、あるターンの環境変化は「これまでの履歴」と「今のアクション」のみに依存します（マルコフ性）。

そのため、長いインタラクションの軌跡を丸ごと1つのデータとして学習するのではなく、「任意のターンとその直前までの履歴」を切り出すことで、それぞれを独立した「次の状態予測」のインスタンスとして成立させることができます。この仕組みにより、長い対話履歴の文脈を保ちつつ、予測タスクとしての学習データを効率的に増強することが可能になります。

3. 学習パイプラインの実装詳細

Qwen-AgentWorldは、環境シミュレーション能力をゼロから構築するために、「CPT（継続的事前学習）で知識を注入し、SFT（教師ありファインチューニング）で思考を活性化させ、RL（強化学習）で忠実度を研ぎ澄ます」という独自の3段階の学習パイプラインを採用しています。

CPT（継続的事前学習）の工夫：情報量の精査

CPTのステージでは、モデルに幅広い世界知識と環境の動態を学習させます。しかし、ツール操作の履歴には「入力内容をそのまま返すだけ」といった無意味なターンも多く含まれています。そこで、有益なターンのみを学習対象とする「Turn-Level Information-Theoretic Loss Masking」という手法を導入しました。具体的には、アクションと観測結果の間で、以下の4つの統計量を計算します。

• Overlap（重複度）: 観測結果がアクションの語彙をどれくらいそのまま繰り返しているか
• Novelty（新規性）: 観測結果にどれくらい新しい情報が含まれているか
• Jaccard（類似度）: 両者の単語セットがどれくらい類似しているか
• Length ratio（長さの比率）: アクションと観測結果の文字数の比率

これらに基づいて、情報量の少ないターンを損失計算から除外することで、ノイズを減らしつつも文脈の連続性を維持しながら学習を進めることが可能になります。

SFT（教師ありファインチューニング）の工夫：思考プロセスの活性化

SFTの目的は、CPTで得た知識を「次の状態はどうなるか？」という明示的な予測思考として引き出すことです。ここでは、汎用的な推論モデルを使って複数の推論軌跡（やり取りの履歴）を生成し、独立した評価モデルがスコアリングを実施する「Rejection sampling（棄却サンプリング）」を採用しています。これにより、一定の品質基準を満たした高品質な推論軌跡だけを厳選して学習させています。

RL（強化学習）の工夫：シミュレーション精度の追求

最終段階のRLでは、予測の正確さを極限まで高めるため、報酬設計に様々な工夫を凝らしています。

• ハイブリッド報酬の設計: 言語モデルによる「5次元のルーブリック評価（形式、事実性、一貫性、現実味、品質）」と、プログラムによる厳密な「ルールベース検証」を9:1の割合で組み合わせています。これにより、多角的な評価と厳密な正確さの両立を実現しています。
• Reward Hacking（報酬のハッキング）対策: モデルが「操作は正常に完了しました」などと自賛して不当にスコアを稼ぐのを防ぐため、3つの対策を実施しました。具体的には、揺るぎない基準となるルールベース検証をアンカーとして取り入れつつ、コンテンツを分類して決定論的な結果には完全一致を求め、さらに厳格なタグ抽出によってモデルの予測結果のみを評価対象から切り出しています。
• Turing-Test Rewardの失敗と教訓: 開発過程では「予測結果が現実の環境から得られたものに見えるか」を判定するチューリングテスト型の報酬も試されました。しかし、モデルの予測が現実とほぼ同じレベルに達すると、評価側がどちらが本物か判別できなくなり、誤った評価（偽陰性）を連発して学習が不安定になってしまうため不採用となりました。
• Reward Collapse（報酬崩壊）の防止: 1つの長い対話履歴から複数のターンを学習データとして展開すると、履歴の大部分（プレフィックス）が重複してしまい、学習が急速に崩壊してしまいます。これを防ぐため、RLの段階では1つの軌跡につき「1ターンのみ」をサンプリングして学習する手法をとっています。

4. AgentWorldBenchと評価設計の妙

言語世界モデルの予測精度を測るため、Qwenチームは「AgentWorldBench」という包括的な評価基盤を構築しました。この評価基盤の最大の特徴は、Reference-Grounded Judging（グラウンドトゥルースに基づく判定）を採用している点にあります。モデルが予測した観測結果を、現実の環境から得られた正しい結果（グラウンドトゥルース）と直接比較することで、評価が「主観的な品質判断」から「事実の比較」へと変換され、LLM判定モデル（LLM Judge）の主観や幻覚（ハルシネーション）が入り込む余地を大幅に排除しています。

具体的な評価は、以下の5つの次元で実施されます。

• Format（形式）: JSONスキーマやターミナルの出力規則など、各ドメインの構造的なルールに従っているか。
• Factuality（事実性）: ファイルの内容やAPIの戻り値といった事実情報が正確に再現されているか。
• Consistency（一貫性）: 出力内容に矛盾がなく、過去のやり取りと整合性が保たれているか。
• Realism（現実味）: 応答パターンやスタイルが、現実の環境の振る舞いに即しているか。
• Quality（品質）: 現実の結果と比べて必要な情報が網羅されており、かつ不必要に長すぎたり短すぎたりしないか。

さらに、シミュレーションという性質上、すべての結果が完全に一致するとは限りません。そこで、不当な減点を防ぐために「差別化マッチング（Differentiated Matching Criteria）」という工夫を取り入れています。出力内容を、完全一致が求められる「決定論的な内容（Deterministic）」、形式と妥当性のみを問う「既存の環境内容（Pre-existing）」、そして形式と範囲の妥当性だけを確認する「ランタイムメタデータ（Runtime metadata：タイムスタンプやプロセスIDなど）」の3つに分類することで、再現不可能な細かな違いによるペナルティを回避しています。

このグラウンドトゥルースを基準とした厳密な評価設計の恩恵は、判定モデルの一貫性にも表れています。複数のLLM Judgeを用いて比較した結果、判定モデルごとにスコアの厳しさ（絶対スコア）には差が出るものの、評価されたモデルごとのランキング（Spearmanの順位相関）は非常に高い一貫性を示しました。これは、抽象的な品質基準に頼るのではなく、事実との直接比較を軸に据えた設計の正しさを裏付けています。

5. 実験結果から見えるクロスドメインへの汎化

AgentWorldBenchを用いた評価から、Qwen-AgentWorldの汎化性能について興味深い知見が得られています。ここでは、モデルの強みと今後の課題の双方に触れながら、内部で何を学習しているのかを紐解いていきます。

• GUIドメインにおけるギャップの要因
  テキストベースのドメイン（SWEやTerminalなど）において、Qwen-AgentWorldはGPT-5.4などの最先端モデルを上回る最高スコアを記録しました。しかし、GUIドメイン（AndroidやWebなど）では、ClaudeやGPT-5.4などに一歩譲る結果となっています。この要因として、視覚情報を直接処理する「マルチモーダル事前学習」の欠如が挙げられます。画面の構造情報をテキストに変換して処理しているため、視覚的な直感に基づく推論においては、マルチモーダル事前学習のアドバンテージにまだ追いつけていないと考えられます。
• 驚異的なゼロショット転移（Zero-shot Transfer）
  一方で、テキストベースの環境では驚くべき汎化能力が確認されています。第3段階の強化学習（RL）において、あえて「Terminal（ターミナル）」のデータのみを用いて学習を進める検証に取り組みました。その結果、学習データに一切含まれていないMCP（API操作）やSearch（検索）、SWE（ソフトウェア開発）といった全く異なるドメインの性能までもが同時に向上したのです。

TerminalのシェルコマンドとMCPのAPI操作とでは、構文も応答の構造も全く異なります。それにもかかわらず未知のドメインで性能が向上したという事実は、モデルが「ドメイン固有のフォーマット」を単に暗記したわけではないことを意味します。そうではなく、「行動に対して環境がどう応答するか」「状態の変化やエラーがどのように連鎖していくか」といった、一般化可能な世界知識（原因と結果の法則）の獲得に成功していると結論づけることができます。

6. 言語世界モデルの応用パラダイム

言語世界モデル（LWM）は、実際のエージェント開発においてどのように活用されるのでしょうか。ここでは、「環境シミュレータとしての分離（Decoupling）」と「エージェント基盤への統合（Unifying）」という2つの応用パラダイムについて詳しく解説します。

環境シミュレータとしての分離 (Decoupling)

LWMを独立したシミュレータとして活用することで、実環境では実現が難しい2つの利点が得られます。

• スケーラビリティ: 負荷の大きい仮想マシンなどを用意することなく、テキストベースで様々な環境を大規模に展開できます。
• 制御可能性: 意図的なAPIエラーや不完全な結果を発生させることで、現実では遭遇しづらいエッジケースを作り出せます。これにより、エージェントの対応力を効果的に鍛え上げることが可能です。

架空世界 (Fictional-World) の構築と検索スキルの習得

Search（検索）ドメインの学習において、Qwenチームは完全に架空の事実（例：2030年の火星移住）に基づく世界を構築して学習を進めました。これには2つの構造的な理由があります。1つ目は、答えが架空の世界にしか存在しないため、エージェントが既存の知識を暗記して答えることを防ぎ、純粋な「検索スキル」そのものを習得させるためです。2つ目は、訓練データと現実世界の知識が混同するリスクを完全に排除できる点にあります。

意図的な情報隠蔽がもたらす行動変容

さらに、WideSearchベンチマークを用いた実験では、興味深い行動変容が確認されました。シミュレータ側に対して、検索結果のスニペットで答えを意図的に隠し、不完全な情報のみを返すように指示しました。すると、エージェントはスニペットの情報だけで満足せず、自発的に詳細ページを読み込むツール（web_extractor）を頻繁に呼び出すようになったのです。このように、シミュレータの条件を制御することで、エージェントに望ましい行動を効果的に学習させることが可能になります。

エージェント基盤への統合 (Unifying)

もう一つのパラダイムは、LWMの予測能力をエージェント自身の脳内に統合するアプローチです。ここでは、ツール呼び出しを伴わない単一ターンの「次の状態予測」のみを事前学習（ウォームアップ）として実施します。すると驚くべきことに、全く学習していない複雑なツール操作を伴うマルチターンタスクの性能が劇的に向上しました。

これは、エージェントが行動を決定する前に「この操作をすると環境はどう応答するか」を脳内で予測する「メタ推論パターン」を内面化したためです。行動前に結果をシミュレーションすることで、行き詰まりを事前に回避し、より確実な意思決定が可能になるという強力なメカニズムが働いています。

7. 言語世界モデルの推論パターンとミクロレベルの詳細分析

Qwen-AgentWorldが高い精度で環境をシミュレーションし、エージェントの性能を押し上げる裏側には、モデル内部での高度な推論プロセスが存在します。ここでは、そのミクロな挙動を紐解いていきます。

• 内部推論 (Chain-of-Thought) と自己修正
  モデルの推論プロセスを分析すると、「Wait!（待てよ！）」というフレーズを意図的に用いて、自身の予測を再検討し修正する「Deliberative Self-Correction」のメカニズムが確認できました。この自己修正は、API応答の誤りを正す「事実」、エージェントや評価者の視点を考慮する「視点取得」、そして後述する「認識論的」の3つのサブタイプに分類されます。
• 知識の限界への自己認識 (Epistemic Boundary Awareness)
  特に興味深いのが、自身の計算能力の限界を悟る「認識論的」な自己修正です。たとえばPythonのTerminal環境において、シード値（seed=42）を指定して乱数を生成する際、モデルは最初の数個の値は事前知識から導き出せても、500番目の値は計算できないと正しく判断します。その結果、デタラメな数値をでっち上げる（ハルシネーション）のではなく、出力すべき「フォーマットのみ」を正確に提示する賢明な挙動を示します。
• ケーススタディ：事前予測による致命的エラーの自発的回避
  行動前に結果を予測する能力は、実際のタスク解決において強力に働きます。Terminalドメインの「mailman」設定タスクでは、LWM学習前のモデルは場当たり的な設定変更を繰り返して時間切れ（失敗）となりました。一方、学習後のモデルは「この表面的な設定変更だけでは、経路選択の前に受信者検証でエラー弾かれる」と、環境の内部仕様に基づく正確な事前予測を展開しました。これにより無駄な操作を回避し、根本原因であるリスト設定へと自発的に軌道修正するプロセスが確認されています。
• RLがもたらすミクロレベルの忠実度
  さらに、第3段階の強化学習（RL）は、非常に細かなレベルでのシミュレーションの忠実度を引き上げます。Terminal環境においては、目には見えない改行文字（\n）の存在まで考慮し、1文字ずつ数え上げることで正確なバイト数計算を実行します。またMCPのAPI操作（Notion環境のシミュレーション）では、9ターンもの長いやり取りにまたがって、同じユーザーIDや親ブロックの参照ID、UUIDのフォーマットといった複雑なAPIスキーマの整合性を完璧に維持し続けることが可能になっています。

おわりに

Qwen-AgentWorldは、言語モデルが単なる「次のアクション」を決定するシステムにとどまらず、行動に対する環境の応答を深く理解し、自身の内部でシミュレーションする能力を獲得できることを示しました。

特に、情報理論に基づいた有益なデータのキュレーション手法や、モデルの不当なスコア稼ぎ（Reward Hacking）を防ぐ精緻な報酬設計など、本論文で示されたデータ構築と強化学習のベストプラクティスは、複雑なAIシステムを構築する実務において多くの示唆を与えてくれます。

物理的なインフラに依存せずに様々な環境を再現できるスケーラブルな学習基盤や、行動前に結果を予測する「メタ推論」に基づく堅牢なプランニングは、今後のAIエージェント開発において、強力かつ不可欠な選択肢となっていくでしょう。

More Information

• arXiv:2606.24597, Yuxin Zuo et al., 「Qwen-AgentWorld: Language World Models for General Agents」, https://arxiv.org/abs/2606.24597