ResearchStudio-Reel: 論文からポスター、動画、ブログへ

研究論文の執筆後、ポスターや動画、ブログ記事を作成する作業に負担を感じたことはありませんか？このような研究発表の「ラストマイル」を自動化するシステムには、これまで3つの大きな課題がありました。

1つ目は成果物ごとに独立して情報を取得する「抽出の重複」、2つ目は生成後に手元で修正できない「一方通行のレンダリング」、3つ目は VLM (Vision-Language Model: 視覚言語モデル) のスコアに基づく「曖昧な品質評価」です。

本記事で紹介する「ResearchStudio-Reel」は、これらの課題を解決するシステムです。全体は、1つの共有抽出コンポーネント（Paper2Assets）、編集可能な3つの生成コンポーネント（Paper2Poster、Paper2Video、Paper2Blog）、そして各成果物を連携させる統合ビューア（Paper2Reel）という構成をとっています。

さらに、品質管理のアプローチも見直されています。従来の曖昧なスコア評価ではなく、明確なレイアウト基準に基づく合否判定（ Hard render gate ）を処理の終了条件として採用することで、確実な品質を保証しています。

1. 情報抽出・アセット生成 (Paper2Assets)

複数の成果物を作成する際、システムがそれぞれ独立して論文を読み込むと、ブログと動画で参照している図番号がずれるといった不整合が起きがちです。ResearchStudio-Reelでは、「Paper2Assets」と呼ばれるコンポーネントが論文からの情報抽出を一度だけ実施し、この課題を解決しています。

Paper2Assetsは1つの論文PDFから、以下のような要素を含む「共有バンドル」を生成します。

ページ区切りを保持した全文テキスト
抽出・クリーンアップされた図表アセット
9つのセクションに構造化されたサマリー
タイトルや著者などのメタデータ

この共有バンドルを、後続のすべての生成コンポーネント（ポスター、動画、ブログなど）が共通のデータ基盤として参照することで、成果物間で情報の一貫性が自然に担保されます。

図表のクリーンアップと役割分担

抽出作業の中で最も重要で負担が大きいのが、図表のクリーンアップです。ここでは、ルールに基づく「決定論的な処理」と、LLMベースの「視覚AIクロッピングレビュー」を連携させるアプローチをとっています。

まず、以下の3つの決定論的な処理を順番に適用し、様々な単純ノイズを自動的に取り除きます。

top-check: 図表上部に残ったヘッダの残骸などのノイズを除去します。
decaption: 画像内に不必要に埋め込まれてしまったキャプションテキストを切り落とします。
autotrim: 画像周囲の均一な白い余白をきれいにトリミングします。

サブエージェントによる厳格な検証

上記の自動処理だけでは、本文のテキストが図の境界に漏れ出ているような複雑なケースを完全に防ぐことはできません。そこで、視覚AIを用いたレビュープロセスが活躍します。

このプロセスでは独立したサブエージェントが呼び出され、提案された切り抜き範囲が適切かどうか、厳格な検証を進めます。例えば、1つの画像領域に複数の異なる図表が敷き詰められている（パッキングされている）ケースを検出した場合には、サブエージェントが個別の境界（バウンディングボックス）を決定し、画像を正しく分割するように指示を出します。

このように、ルールベースの処理とAIの推論を組み合わせることで、手作業で切り抜いたかのような高品質な図表アセットをシステム全体に供給しています。

2. ポスター生成とエージェント制御 (Paper2Poster)

抽出した共有データからポスターを生成する「Paper2Poster」では、エージェントを効率的かつ安定して機能させるための数々の工夫が凝らされています。

**図2. Paper2Posterの処理フロー。レイアウトの動的構成から、充填率に基づく反復調整、ネイティブなPowerPoint形式への変換までの流れ。**

テンプレートの動的構成とトークン上限対策

ポスターのレイアウトを決定する際、あらかじめ固定のテンプレートを大量に用意すると、管理すべきパターンの組み合わせが爆発してしまいます。これを防ぐため、Paper2Posterは以下の4つの独立した軸を組み合わせてHTMLを動的に構成し、様々なデザインを実現しています。

レイアウト: 1〜3カラムといった列の構造
スタイル: 色使いや枠線などの視覚的なテーマ
ヘッダー: タイトルや著者、ロゴの配置形式
Scan-to-Read: QRコードなどの配置ブロック

この動的構成において、エージェントが約100KBに及ぶ poster.html 全体を直接出力しようとすると、出力トークンの上限エラーで処理が停止してしまいます。そこでシステムは、プレースホルダーの置換スクリプトやファイルの特定箇所を編集する Edit ツールを活用し、間接的にHTMLを構築するアプローチを採用しています。

コンテキストウィンドウの節約

さらに、レイアウトを反復的に修正するプロセスでHTML全体を毎回読み込むと、LLMのコンテキストウィンドウを大きく圧迫してしまいます。これを回避するため、システムは check_poster.py slack と呼ばれる評価コマンドを利用し、目標とする枠のサイズから外れているセクションの文字列（ verbatim source ）のみをエージェントに渡して修正を進めます。

充填率に基づくレイアウト最適化 (Staged Fill Loop)

ポスターのレイアウトを最適化する反復処理（ Staged Fill Loop ）では、各セクションのカード枠に対するコンテンツの「充填率」を計算し、以下の5つの状態に分類します。

EMPTY (70%未満): 大幅な情報不足。補足テキストやオプションのセクションを追加します。
SPARSE (70%〜90%): やや空きがある状態。既存の文章を膨らませて調整します。
FULL (90%〜100%): 理想的な状態。変更は加えません。
SPILLAGE (100%〜110%): わずかにはみ出している状態。文章を短く引き締めます。
OVERFLOW (110%超): 大きくはみ出している状態。補足テキストやセクションを削除します。

このように、曖昧なスコアではなく具体的な状態に基づいてテキストの追加や削減といったアクションをトリガーすることで、確実なレイアウト調整を進めます。

そして、ループ処理が収束してすべてのセクションが90%〜98%の充填率に達した後、最終的なレンダー時に拡張処理が適用されます。ここでは、図のサイズを不用意に変更することなく行間の空白を均等に拡大することで、レイアウトが視覚的にしっかりと満たされた状態を作り出します。

**図3. 反復的なレイアウト調整（Staged Fill Loop）の過程**

PowerPointへの変換と数式の維持

完成したHTMLは、そのまま著者が編集可能なPowerPoint形式（ .pptx ）にエクスポートされます。ここでも重要な工夫があります。数式が含まれる論文の場合、HTML上では MathJax を用いてレンダリングされますが、これをPowerPointに変換する際、画面上の要素構造を読み取る DOM (Document Object Model) 解析処理を通じて、ネイティブなPowerPointの数式オブジェクト（ OMML ）に直接変換します。これにより、変換後も著者が手元でテキストとして数式を選択し、編集できる状態を維持しています。

3. 動画生成とアラインメント (Paper2Video)

「Paper2Video」は、共有データからスライド付きの解説動画を生成するコンポーネントです。動画生成において頻繁に直面する課題は、一度レンダリングした後に要素のタイミングや長さを修正するのが極めて困難になることです。このシステムでは、出力後にMP4を直接編集するのではなく、事前の計画と明確なメタデータの出力によって品質を担保しています。

**図4. Paper2Videoの概要。再生時間の計画から、スライド・音声・字幕・視覚ハイライトの生成と同期を保証するフロー。**

TTS前の再生時間計画 (Duration planning)

指定された再生時間に動画を収める際、完成した動画を無理にカットしたり、全体を早送りしたりすると、不自然な仕上がりになります。

そこでPaper2Videoは、音声合成（ TTS: Text-to-Speech ）を実行する前のナレーションスクリプトの段階で、LLMが全体の長さを計画します。見積もりが目標時間から大きく外れている場合は、単純にテキストの末尾を切り捨てるのではなく、意味を保ったままスクリプトを書き直しするようにLLMへ要求します。これにより、最終的なレンダリング後に無理な時間調整を実施する事態を安全に防いでいます。

視覚的なハイライトの正確な配置

研究発表のスライドには、複数の図や数式が含まれることが多く、ナレーションに合わせて「どこを見るべきか」を視覚的に誘導することが重要になります。

動画内の特定のスライド領域にハイライトを適用する際、システムはLLMが生成したスクリプトと、PowerPoint（PPTX）やSVG内の要素を正確に結びつける必要があります。ここでは、安定した「セマンティックアンカー（要素のIDや代替テキストなど）」と visual_cues.json と呼ばれるファイル情報を活用して、ナレーションと視覚要素の厳密な位置合わせ（アラインメント）を進めています。

**図5. Paper2Videoの出力成果物。編集可能なPPTXファイルと、正確にタイミングが同期された動画パッケージの例。**

同期を保証するタイムライン出力

最終的に、音声、スライド、字幕、そして視覚ハイライトの同期を維持したまま、後続のシステム（後述する統合ビューアなど）に情報を渡す必要があります。

そのため、Paper2Videoは単に動画ファイルを書き出すだけでなく、ダウンストリーム向けに timeline.json という契約ファイルを出力します。このファイルには、各セクションの音声が再生されるタイミング（音声ウィンドウ）、字幕を表示するキュー、対応するスライドのフレーム、およびハイライトの情報が正確に記録されています。これにより、後続のシステムは動画ファイルのピクセルを直接解析（スクレイピング）することなく、確実に各メディアを連携させることができます。

4. ブログ記事生成とレイアウト評価 (Paper2Blog)

研究成果を広く発信するためには、ブログ記事の存在が欠かせません。Paper2Blogは、共有のデータ基盤を活用し、編集者が手元でそのまま修正できるWordドキュメント（ .docx ）として記事を生成するコンポーネントです。ここでも、単なる要約や直訳を超えた様々な工夫が盛り込まれています。

**図6. Paper2Blogの生成パイプライン。共通のEvidence map（証拠マップ）から、英語と中国語で異なるトーンの独立した記事が生成される仕組み。**

一つのEvidence mapから生まれる多言語記事

多言語で記事を展開する際、単純な翻訳を適用すると、読者の文化やプラットフォームに合わない不自然な文章になりがちです。

これを解決するため、Paper2Blogは論文から抽出した事実に基づく「1つの証拠マップ（ Evidence map ）」を構築します。そして、この共通の基盤を参照しながら、以下のように読者層に合わせた独立したドラフトを生成します。

中国語版: WeChatの公式アカウントなどに向けた、控えめで読みやすいトーン
英語版: 技術的な読者に向けた、中立的なリサーチブログのトーン

このようにトーンを調整しつつも、裏側では同じ事実データや数値を参照しているため、言語間で情報が矛盾する事態を安全に防いでいます。

記事レベルでの図表選択ロジック

論文に含まれるすべての図表をブログ記事に詰め込むと、読者は情報過多に陥ってしまいます。そのためシステムは、記事の解説に真に貢献する少数の図表だけを厳選するアプローチをとっています。

さらに、選ばれた図表はただ順番に並べられるわけではありません。「読者がその図を理解する準備ができた」と判断される該当セクションのすぐ近くに配置されます。これにより、文章と視覚情報の自然な連携を実現しています。

視覚的なアーティファクトとしてのWordファイル検査

生成されたWordファイルは、テキストが正しいだけでは十分ではありません。編集者がレイアウトを直す手間を減らすため、完成したドキュメントを「視覚的なアーティファクト」として検査するQA（品質保証）ゲートが設けられています。

このQAゲートでは、内部構造やレンダリング結果の解析を通じて、以下のようなレイアウト上の欠陥を自動で検知します。

画像の充填不足 (underfilled images): 画像が不必要に小さく配置されていないか
孤立した単語 (orphan tails): 段落の最終行に単語が1つだけポツンと残っていないか
ほぼ空白のページ (near-blank pages): ページ送りの結果として空白に近いページが生まれていないか

このようにレイアウトの不備をシステム側で事前に発見することで、編集者がスムーズに推敲を進められる高品質な成果物を提供しています。

**図7. Wordドキュメントに対する視覚的な品質検査（QAゲート）。画像の充填不足や孤立した単語など、レイアウト上の欠陥を検知。**

5. 統合ビューアとシステム全体の自律性 (Paper2Reel)

ポスター、動画、ブログといった様々な成果物が完成しても、それぞれが独立したファイルのままでは読者に全体像を伝えるのは困難です。「Paper2Reel」は、これらの成果物を一つのインタラクティブなブラウザ用ビューアとして統合するコンポーネントです。

図8. Paper2Reelのインタラクション例。ポスターの特定のセクションをクリックすると、対応する動画の再生位置やブログの該当箇所が同期して表示される。

アライメントデータによるシームレスな連携

Paper2Reelの最大の特長は、各成果物を単に並べるのではなく、内容のつながりを保ったまま連携させる点にあります。この連携の核となるのが、 content_alignment.json と呼ばれるアライメントデータです。

このファイルには、論文の各セクションIDを基準として、以下の情報が正確にマッピングされています。

ポスターの特定のセクションブロック
対応するスライドのサムネイル
動画の再生位置（シーク位置）とキャプション
ブログ記事の該当箇所

これにより、ビューア上で読者がポスターの特定のセクションをダブルクリックすると専用のセクションモーダルが開き、左側には該当部分から再生できる動画とスライドのサムネイルが、右側には関連するブログの解説が自動的に表示されるという、シームレスな連携を実現しています。

未完了プロセスの自律的な補完実行

さらに、Paper2Reelはシステム全体の自律性を担保する役割も担っています。

例えば、ユーザーが論文のPDFファイルやarXivのリンクなど、一部のデータのみを与えていきなりPaper2Reelを実行したとします。この場合、システムはエラーで停止するのではなく、未完了のアップストリームステージ（情報抽出のPaper2Assetsや、成果物生成のPaper2Poster、Paper2Video、Paper2Blogなど）を自動的に検知します。そして、不足しているプロセスを自律的に補完実行し、すべての成果物を揃えてから統合ビューアを構築します。

この仕組みにより、ユーザーは個別のコンポーネントの実行順序を細かく意識することなく、最終的な成果物のパッケージを確実に手に入れることができます。

6. 実験結果・プロンプト設計・コスト分析

システムの有効性を検証するため、100本の論文データセット（Paper2Posterベンチマーク）を用いた評価が実施されています。ここでは、実験結果から得られた知見や、システムの裏側にあるプロンプト設計、そしてコスト面での工夫について解説します。

情報量とレイアウトのトレードオフ

生成されたポスターの品質は、VLM (Vision-Language Model: 視覚言語モデル) による「視覚的なレイアウト評価」と、AIがポスターを読んで質問に答える「テキスト理解度テスト（ PaperQuiz ）」によって測定されました。

実験の結果、ポスターのテキスト密度を高めるほど理解度のスコアは上がりますが、逆にレイアウトの評価は下がるという明確なトレードオフが確認されました。実際に人間の著者が作成したポスターは、見栄えを良くするために情報を大胆に削ぎ落とすため、視覚的な評価は高い一方で、テキスト理解度のスコアは最も低くなる傾向がありました。

本システムは反復的なレイアウト調整により、この両極端の中間に位置する「適切な情報量」と「高い視覚的品質」の両立に成功しています。

単一生成（Single-shot）方式との圧倒的な差

システムのアプローチの優位性を測るため、Claude-4.8 Opusなどの最先端モデルにポスター全体を一度の指示で出力させる「Single-shot」方式との比較も行われました。

結果として、同じ言語モデルを使用した場合でも、反復処理を行う本システムのスキルベースのパイプラインは、レイアウトの評価スコアにおいて単一生成よりも1ポイント以上高い性能差を示しました。この結果は、高い出力品質が単なる言語モデルの能力ではなく、システムの構造そのものによってもたらされていることを裏付けています。

読解ゲート（RRP）による情報欠落の防止

ポスターのレイアウトを綺麗に整える過程で、重要な情報が削られてしまうリスクがあります。これを防ぐため、システムには「読解ゲート（ RRP: Reader-Reconstruction Preference ）」という検証機能が用意されています。

これは、独立した読解モデルが完成したポスターのみを読み、元の論文に関する質問に正しく答えられるかを検証する仕組みです。これにより、見た目の美しさを優先するあまりポスターの理解しやすさが損なわれる事態を防いでいます。

コンテキストキャッシュによるコスト削減

システムの実行コストに関する分析では、API利用料金を抑えるための工夫が確認できます。

本システムは複数のエージェントが反復して動作しますが、API通信におけるトラフィックの大部分を「コンテキストの再読み込みキャッシュ（ Cached-context re-reads ）」を利用して処理しています。これにより、膨大な論文テキストを毎回新規に読み込むコストが省略され、APIコストの大幅な削減に貢献しています。

比較評価におけるプロンプト設計の工夫

なお、比較対象となった「Single-shot」モデルの性能を最大限に引き出すため、ベースラインのプロンプト設計には以下のような厳格なルール（ハード要件）が指示されていました。

A0サイズの指定: 1189mm × 841mmのキャンバスサイズを強制
CSSのインライン化: 外部スタイルシートの読み込みを禁止
JavaScriptの禁止: 動的な処理を排除
システムフォントの利用: HelveticaやArialなどの標準フォントのみを指定
ファイル名の厳守: 提供された画像ファイル名を正確に使用すること

このように、単一のプロンプト内で可能な限りの要件を定義した上でも、本システムのエージェント制御によるアプローチが視覚的・構造的に大きく上回る結果となりました。

7. ResearchStudio-Reel の使い方

ここまで紹介してきた5つのコンポーネントは、研究論文からポスターや動画、ブログを生成する巨大な自動化パイプラインの「アーキテクチャ」の話でした。しかし、ResearchStudio-Reel自体は特別な実行環境を必要とするアプリケーションではなく、Claude Code と Codex という2つのエージェントランタイム上で動く「スキル（ SKILL.md + スクリプト群）」として配布されています。本章では、実際に手元でこのシステムを動かすまでの手順を、Claude Codeを例に紹介します。Codexなど他のランタイムのサポート状況については、末尾で簡単に触れます。

インストール

リポジトリをクローンし、同梱の install.sh を実行するだけで環境構築が完了します。

$ git clone https://github.com/microsoft/ResearchStudio.git && cd ResearchStudio
$ bash install.sh

このスクリプトは対話形式で「Idea（論文執筆前）」と「Reel（論文執筆後）」のどちらのバンドルを、どのエージェントランタイム（Claude Code / Codex）向けにセットアップするかを尋ねます。裏側では、各バンドルのPythonの依存関係のインストールに加え、poppler-utils や LibreOffice 、ffmpeg 、Playwright （Chromiumブラウザを含む）といったネイティブツールをOS標準のパッケージマネージャ経由で導入し、最後に各スキルのディレクトリを .claude/skills/ （および/または .codex/skills/ ）へシンボリックリンクします。この処理は「冪等（べきとう）」であるため、何度再実行しても環境が壊れることはありません。

対話プロンプトを省略したい場合は、以下のようにフラグで明示的に指定することもできます。

# Reelバンドルのみを、Claude Code向けにインストール
$ bash install.sh --reel --claude

# 数式を含むポスターをPDF出力する場合はLaTeXエンジンも追加
$ bash install.sh --reel --claude --with-pdf

Claude Codeでの実行

インストールが完了したら、install.sh が用意した設定ディレクトリを指定してClaude Codeを起動します。

$ CLAUDE_CONFIG_DIR="$PWD/.claude" claude

セッション内では、スラッシュコマンドで明示的にスキルを呼び出すことも、自然言語で意図を伝えるだけでエージェントが該当スキルを自動的に選択することもできます。例えば、1本の論文PDFからポスターだけを生成したい場合は次のように依頼します。

> /paper2poster ./my_paper.pdf

同様に、/paper2video や /paper2blog 、/paper2reel もそれぞれのスキルを直接起動します。いずれの場合も、初回実行時に共有バンドル（Paper2Assets）がまだ存在しなければ、各スキルが内部で自動的に抽出処理を先に済ませてから本体の生成に進みます。

ポスター・動画・ブログ・統合ビューアをまとめて1本の論文から作りたい場合は、以下のように一括生成を依頼する自然言語プロンプトを渡すだけで、ヘッドレス（非対話）実行も可能です。

$ CLAUDE_EFFORT=high CLAUDE_CONFIG_DIR="$PWD/.claude" \
  claude -p --model claude-opus-4-8 \
  "Run the full pipeline on ./my_paper.pdf: /paper2assets to extract the shared package, then /paper2poster (poster.html/pdf/png + editable poster.pptx), /paper2blog, /paper2video, and finally /paper2reel. Reuse the one paper2assets package across every stage and keep all intermediate HTML."

このプロンプトの重要な点は、「1つのpaper2assetsパッケージをすべての段階で再利用する」ことを明示的に指示していることです。前述の通り、これにより各成果物が同じ図表番号・同じテキストを参照するため、成果物間の情報の食い違いを防ぐことができます。

Claude Code以外のサポートについて

ResearchStudio-Reelは Codex 上でも同様に動作するよう設計されており、install.sh --reel --codex を指定すれば .codex/skills/ 側にスキルがリンクされます。また、APIキーの入力を対話形式で済ませたい場合は、npx github:microsoft/ResearchStudio という代替のインストーラも用意されています。それぞれの細かいセットアップ手順やスキルごとの入出力仕様は、リポジトリ直下の README.md および ResearchStudio-Reel/README.md 、各スキルの SKILL.md に詳しくまとめられているので、実際に試す際はそちらも参照してください。

おわりに

今回紹介した「ResearchStudio-Reel」は、単なるテキスト要約システムの枠を超えた、実務に即したアーキテクチャを備えています。1つの共有抽出層によるデータの単一情報源化、明確なカテゴリカル基準に基づく厳密な品質管理、そしてネイティブツールで再編集可能な出力といった特徴は、いずれも人間の作業を根本から支援するための工夫です。

LLMを活用した複雑なアプリケーションを構築する際、私たちはついプロンプトの改善のみに頼りがちです。しかし本システムのように、モジュール化された確定的なプロセスと、明確な検証ゲートを組み合わせるアプローチは非常に強力です。このようなエージェントの設計思想は、研究発表のラストマイルに限らず、様々な自動化システムの開発に応用できる有用な知見となるはずです。

More Information

arXiv:2607.04438, Lingao Xiao et al., 「ResearchStudio-Reel: Automate the Last Mile of Research from Paper to Poster, Video, and Blog」, https://arxiv.org/abs/2607.04438

Blog