LLMエージェントがコーディングやデータ分析、長時間にわたるタスク遂行など、様々なベンチマークで高いスコアを記録するようになってきました。そうした中で「AIは自律的に科学研究を進められるのか」という問いは、研究の場だけでなく実務でエージェントを運用する現場でも意識されるようになっています。しかし既存の評価の多くは、正解が既に分かっている問題を扱うか、あるいは解決手順そのものを人間が事前に細かく指定したタスクを対象にしており、「AIが自分の力で研究の進め方を決められるか」という核心にはあまり踏み込めていません。

こうした状況に対して、40名を超える専門家が31,000時間を超える工数をかけて構築したベンチマークが公開されました。60件のプロジェクトレベルの研究タスクが11の科学分野にわたって収録されており、同一の研究課題に対して人間が与える方法論的なガイダンスの量を4段階で切り替えることで、AIがどこまで自力で研究を進められるかを測定する設計になっています。18種類のエージェント×モデルの組み合わせで評価が実施され、方法論的なガイダンスを完全に与えた場合の平均スコア50.91点が、AIが自分で手法を決めなければならない条件では26.62点まで落ち込んだことが報告されています。

この記事では、ASI-Benchが既存の評価と何を違えているのか、方法論ガイダンスを段階的に外していく仕組み、構築時に施された品質管理のプロセス、実験で明らかになったスコアの推移とその含意、計算コストをめぐる意外な結果、そして実務・研究での活用場面と限界について、順を追って解説します。

1. 既存ベンチマークが測れていないもの

既存ベンチマークの現状と評価対象

現在利用されている主要なベンチマークは、それぞれ科学研究やタスク遂行の異なる側面を切り出して評価しています。

• Humanity’s Last Exam（HLE：人類最後の試験）: 幅広い学術分野にまたがる専門知識を問う設計になっていますが、実際にコードを書いたり実験を回したりする実行力までは評価しません。
• Terminal-Bench: 長時間タスクの遂行力を測るベンチマークであり、ツール利用やエラーからの回復力を評価対象に含む一方で、達成すべきゴールと採点基準はあらかじめ固定されています。
• SciCode: 研究レベルの科学コーディングに特化しており、研究プロセスの特定の工程だけを切り出して評価します。
• ScienceAgentBench: データ駆動の科学分析を評価します。
• DiscoveryBench: 仮説駆動の発見を扱います。
• MLE-Bench: 機械学習エンジニアリングに特化しています。
• RE-Bench: オープンエンドなAI研究開発を評価します。
• PaperBench: 研究の再現性を測定します。

4つの評価観点とベンチマーク比較

既存ベンチマークの多くは、以下の4つの観点を同時には満たしていません。

1. 分野を横断する汎用性
2. 手法選択の自律性
3. 一気通貫での研究遂行
4. 人間のガイダンス量を変化させて自律性の勾配そのものを測るアプローチ

各ベンチマークの特徴を整理すると、次のようになります。

ベンチマーク	横断的汎用性	手法の自律性	一気通貫の研究遂行	ガイダンスの勾配
Humanity’s Last Exam	○	–	–	–
Terminal-Bench	–	△	△	–
ScienceAgentBench	△	△	△	–
PaperBench	–	–	○	–
RE-Bench	–	○	○	–
ASI-Bench	○	○	○	○

スコアのギャップと先行システムの課題

この対比を裏づけるように、HLEやSWE-bench（ソフトウェアエンジニアリングのベンチマーク）、Terminal-Benchでは40〜90%台のスコアを記録できるモデルが、同じ研究課題を自律的に遂行することを求められる条件下では27〜52%程度まで落ち込むという結果も報告されています。他のベンチマークで高いスコアを出せるモデルほど、自律的に研究を進める力とのギャップがはっきり見えてきます。

また、既存のAIサイエンティスト系システムに関する先行研究についても、一定の留保が示されています。

• ワークフロー遂行と自律的設計の違い
  アイデア創出から実験・可視化・執筆までを一気通貫でこなすワークフローを実演してきたシステムは複数存在します。しかし、目的や手法・実験手順があらかじめ人間側で決められているケースが多く、「ワークフローをこなせること」と「研究の進め方自体を自律的に組み立てられること」は別の能力だと指摘されています。
• 段階的ガイダンスの独自性
  情報の有無を比較する先行ベンチマークも存在しますが、多くは情報を「与える」か「与えない」かという二値的な設計にとどまっています。同一プロジェクト内で段階的にガイダンスを外していく設計は、ASI-Bench独自のアプローチです。

2. 方法論ガイダンスを段階的に外すB1〜B4設計

タスクを構成する4つの基本要素

収録されている各タスクは、以下の4つの要素を軸に構成されています。

• 達成すべき科学的目標（scientific objective）
• 目標に紐づくタスク固有のデータ
• コードを実行できるサンドボックス環境
• 採点可能な検証済み成果物

研究の中身自体はこの4要素を固定したまま、プロンプトに含める「手法についての情報量」だけを4段階に切り替えることで、AIエージェントがどの段階まで自律的に研究を進められるかを測定します。

4段階の方法論ガイダンス（B1〜B4）

プロンプトに与えられるガイダンスの量は、以下のように定義されています。

• B1（完全な方法論ガイダンス）: 支配方程式や数値計算の手順、パラメータの選び方まで手取り足取り提示されます。エージェントの仕事は、提示された手順を忠実に実装して実行することにほぼ限定されます。
• B2（手法名のみ）: 具体的な実装手順は取り除かれ、採用すべき手法のクラスや制約条件だけが示されます。エージェントは、与えられた方針を動くコードに翻訳する作業を自力で担う必要があります。
• B3（研究目標とデータのみ）: 方法論的な手がかりそのものが取り除かれ、観測データと達成すべき目標だけが与えられます。どのようなモデルや数値手法を選ぶべきかも、エージェント自身が判断しなければなりません。
• B4（無関係情報の追加）: B3と同じ設定に、事実としては正しいものの目的達成には不要な情報（もっともらしい別候補のモデル名や雑多なメモ、締切や市況といった業務上の雑談など）を加えたものです。目標を見失わずに進められるかという頑健性を試します。

具体例：2次元非線形物理系のダイナミクス再構成

2次元の非線形な物理系のダイナミクスを再構成するタスクを例にすると、各段階の違いは以下のようになります。

• B1: 支配方程式そのものに加え、フーリエ空間での離散化手法や、剛性の強い方程式向けの時間積分アルゴリズムまでが提示され、エージェントはほぼ「実装して動かすだけ」で済みます。
• B3: 観測された時空間データと「空間・時間の構造を特徴づけ、モデルを構築し、将来の場を予測し、物理的に意味のある量を抽出せよ」という目標のみが渡されます。支配方程式も数値手法もすべてエージェント自身が特定しなければなりません。
• B4: B3の条件に加えて、相分離モデルや反応拡散系といったもっともらしい別候補の名前や、「たぶん相分離では」といった不確かなメモ、業務連絡のような雑談までが追加され、惑わされずに本題に集中できるかが試されます。

3. 構築プロセスと品質管理

大規模かつ反復的な選別プロセス

ASI-Benchの構築は一度きりの収集作業ではなく、大規模かつ反復的なプロセスとして進められました。

• 1,300件を超える候補研究アイデアを科学的な情報源から収集
• 5回のレビューラウンドを実施
• 1,100件を超えるレビュー割り当て
• 2,000件を超える修正を経て絞り込み
• サンドボックス環境での1,500回を超える実行検証により、再現性や採点の安定性を確認
• プロセス全体に投じられた人手は31,000時間以上

レビュー項目と除外の3大理由

レビューでは科学的な定式化やタスク仕様、B1〜B4の情報設計、参照結果、採点基準に加え、正解が推測できてしまう情報漏洩や、意図しない近道（本来の手法を経由せずに高得点を取れてしまう抜け道）がないかまで確認されています。

タスクが修正・除外される典型的な理由として、以下の3点が挙げられています。

1. 科学的な矛盾（scientific inconsistencies）
2. 評価の不安定さ（unreliable evaluation）
3. 意図しない近道（unintended shortcuts）

収録タスクの規模と11の科学分野

厳格な選別を経て残った60タスクは、以下の11の科学分野にまたがっています。

• 数学
• 物理学
• 化学
• 生物学
• 天文学
• 材料科学
• 地球科学
• 医学・生物統計
• 計算機科学
• ロボティクス
• 電気工学

1タスクあたりの研究プロセスは平均で2,600ターンを超えるやり取りと2,400ステップを超える実行、35時間を超えるエージェント実行時間を要しており、単発の質問応答とは規模が大きく異なります。

コミュニティによる拡張フロー

ASI-Benchはコミュニティによる拡張も前提に設計されています。オンラインの投稿ポータルとCLIランチャーを通じて、15段階のガイド付きフローでタスクを作成・検証できる仕組みが用意されています。

投稿者が揃えるべき要件は以下の通りです。

• 科学的目標とその非自明性の説明
• B1〜B4の4種類のプロンプト
• 入出力仕様
• 参照解を再現するスクリプト
• 評価用の採点基準
• 依存ソフトウェアの情報
• 4条件でのローカル評価結果

投稿プロセスは次の3つのステージで進行します。

1. 第1ステージ: 科学的な問いを定式化する段階
2. 第2ステージ: 同一の目標に対してB1〜B4の4段階プロンプトを作り込む段階
3. 第3ステージ: ローカルでテストして提出し、レビューを経て修正する段階

4. ガイダンスを外すとスコアはどこまで落ちるか

評価対象のエージェント・モデル構成

評価では、5種類のエージェントハーネス（Agent Harness：エージェントの実行環境や振る舞いを制御する枠組み）と多彩なバックボーンモデルを組み合わせた18種類の構成が、60件のタスクに対して用いられました。

• エージェントハーネス: Codex、Claude Code、Kimi Code、MiMo Code、OpenHands
• バックボーンモデル: GPT-5.5／5.6、Claude Opus 5／4.8、Kimi K2.7／K3、GLM-5.2／5.3、DeepSeek V4 Pro／Flash、MiniMax M3、MiMo V2.5 Pro

ガイダンスレベル別の平均スコアとボトルネック

全構成における平均スコアの推移は以下の通りです。

• B1（完全な方法論ガイダンス）: 50.91点
• B2（手法名のみ）: 29.10点
• B3（研究目標とデータのみ）: 26.62点
• B4（無関係情報の追加）: 26.99点

ここで注目すべきは下落幅の非対称性です。B1からB2への下落幅は21.82点に達する一方、B2からB3への下落幅はわずか2.48点にとどまっています。この結果は、ボトルネックが「どの手法を使うか」を選ぶことではなく、「選んだ手法をどう実行可能な研究手順に落とし込むか」という手法の運用化（Method Operationalization）にあることを示唆しています。

最高スコア構成と推論投資の効果

• 最高B3スコア: CodexとGPT-5.6 Sol（ultra設定）の組み合わせが51.60点を記録し、評価対象の中で唯一50点を超えました。
• 推論強度による向上: 同じGPT-5.6 Solでも推論の強さをxhighからultraに引き上げるだけで、B3スコアは40.86点から51.60点へと10.74点向上しました。推論への投資が自律的な研究遂行力を押し上げることが確認できます。
• 自律研究の難しさ: 推論を強化しても最高水準が51.60点にとどまっている事実から、自律的な科学研究の難度の高さがうかがえます。

エージェントハーネスとモデルの相互作用

同じバックボーンモデルであっても、使用するハーネスによって発揮される能力は大きく変化します。

• ハーネスによる性能向上例:
  • MiMo V2.5 Proは、MiMo Code（マイモコード）では16.17点にとどまりましたが、Claude Codeに載せ替えると23.25点まで向上しました。
  • Kimi K2.7も、Kimi Codeでの19.72点からClaude Codeでの27.34点へと上昇しました。
• ハーネス差が生じない例:
  • Kimi K3はKimi Codeで36.22点、Claude Codeで37.09点とほとんど差が出ませんでした。

これらの結果から、科学的な遂行能力はバックボーンモデル単体で決まるものではなく、モデルとハーネスの相互作用から生まれるものであることが分かります。

無関係情報（B4）に対する頑健性

無関係な情報を加えたB4のスコア（26.99点）は、それを加えないB3のスコア（26.62点）とほぼ同水準でした。このことから、現行システムは無関係な情報そのものにはさほど惑わされないことも示されています。

5. 計算コストの逆説

ガイダンス削減に伴うコスト増加

方法論ガイダンスの量は、スコアだけでなく計算コストにも直結しています。

• B1（完全ガイダンス）: 手法・実装手順・パラメータの選び方まで指定されているため最も安価であり、1タスクあたり平均435万トークン、37.8分で完了します。
• B3（目標とデータのみ）: B1より25%多いトークンと、22%多い実行時間を要します。
• B4（無関係情報追加）: B1より30%多いトークンと、18%多い実行時間を要します。

中途半端なガイダンス（B2）が引き起こすコストの逆説

4つの条件の中で最もコストがかさむのはB2という結果になりました。

手法名のみを与えるB2は、B1より59%多い691万トークン、32%多い49.7分を要しており、トークン数・実行時間のいずれでも4条件中で最大です。

手法の名前だけを伝えるという中途半端なガイダンスは、エージェントを特定の方向に縛りながらも実装の詳細を自力で再構築させることになります。その結果、かえって探索や試行錯誤のコストを増やしてしまうという逆説的な現象が生じています。

コスト効率と絶対性能のトレードオフ

コストと性能の関係も一様ではありません。

• 高いコスト効率: GPT-5.6のxhigh設定をCodexで動かした構成は、1回あたり約684ドルでB3スコア40.86%を達成しました。これは1回あたり約2,728ドルを要するClaude Opus 5とClaude Codeの組み合わせ（40.70%）とほぼ同等の性能を、約4分の1のコストで実現していることになります。
• 絶対性能の追求: 支出を増やせば絶対的な性能を伸ばせる場合もあり、GPT-5.6のultra設定をCodexで動かした構成は約1,550ドルで最高スコアの51.60%に到達しています。

コスト効率を重視するならGPT-5.6のxhigh設定が優れたバランスを示す一方、性能の最大化を優先する場面ではGPT-5.6のultra設定が適しています。

6. 使いどころと限界

5つの主な活用場面

ASI-Benchの活用場面として、主に以下の5点が挙げられます。

1. より高次の知能を示す: 問題や解法手順が既に特定されている従来ベンチマークでの数ポイントの改善は、必ずしも高次の知能の進歩を意味しません。低ガイダンス条件での改善は、真の知能向上を示すより強い証拠になります。
2. 自律的な研究能力そのものを試す: 「AI for Science」や「AIサイエンティスト」を名乗るシステムが、人間が用意した手順なしに研究プロジェクトを継続できるかを検証できます。
3. モデルとエージェント設計の貢献を切り分ける: 同じバックボーンモデルを異なるハーネスに載せ替えたり、同じハーネスで異なるモデルを比較したりすることで、性能向上がモデル自体によるものかシステム設計によるものかを識別できます。
4. フロンティアの進捗を測る: 現状のB3平均スコアは26.62点にとどまっており、飽和にはほど遠い水準です。今後のモデルやエージェント改善の余地を測る指標として活用できます。
5. ベンチマークをコミュニティで拡張する: 研究者・エンジニア・モデル開発チームからの新規タスク投稿を通じて、ベンチマーク自体を分野横断で育てていく前提で設計されています。

実務における示唆

モデルの改善とハーネス設計の改善を切り分けて評価できる点は、実務でエージェントシステムを運用するエンジニアにとって特に参考になります。バックボーンモデルを差し替えただけでは説明できない性能差がハーネス側の設計から生まれる場合があることは、実験結果からも裏づけられています。

運用上の限界と留意点

一方で、運用にあたっては以下の限界にも留意が必要です。

• 高額な費用と長い実行時間: 評価には1タスクあたり数百〜数千ドルの費用と数十分の実行時間がかかっており、気軽に何度も走らせられる規模ではありません。
• タスク数とカバー範囲: 収録タスクは60件・11分野にとどまっており、特定分野を深く検証したい場合には数が十分でない可能性があります。
• 外部ツール非アクセスの評価条件: 主要な評価は外部ツールへのアクセスを持たない条件下で実施されており、外部の検索やツール連携を前提とするエージェント運用にそのまま当てはめられるとは限らない点にも注意が必要です。

おわりに

ASI-Benchが示した結果を通観すると、現行のAIエージェントは「与えられた手順を正確にこなす」段階では高い実力を発揮できる一方、「研究をどう進めるべきかを自分で決める」段階になると急激に力を落とすという傾向が浮かび上がります。方法論的ガイダンスを完全に与えたときの平均スコア50.91点が、目標とデータだけを渡された条件では26.62点まで落ち込むという結果は、自律的な科学研究がまだ遠い目標であることを裏づけています。同時に、手法名だけを伝える中途半端なガイダンスがかえって計算コストを押し上げるという逆説や、同じモデルでもハーネス次第で性能が大きく変わるという結果は、自律的なエージェントシステムを設計・運用するうえで見落としがちな盲点を突いています。

実務でLLMエージェントを運用する立場からは、性能改善を語る際に「モデルを変えたのか」「エージェントの実行環境を変えたのか」を切り分けて評価する視点が参考になります。自社のワークフローについても、どこまでの手順を人間側が事前に用意しているかを意識的に棚卸しすることで、見かけ上の性能と実際の自律性のギャップを把握しやすくなるはずです。

ASI-Benchは固定された一度きりのテストセットではなく、科学とAIのコミュニティが共同で育てていく研究インフラとして位置づけられており、今後も新規タスクの投稿を通じて分野横断的に拡張されていく前提で設計されています。人間のガイダンスをどこまで外せるかというこの物差しは、モデルやエージェント設計の「見かけ上の性能」と「本当の自律性」を区別するための、具体的な基準を提供しています。

More Information

• arXiv:2608.17271, Junwei Zhou et al., 「ASI-Bench: At the Dawn of Artificial Superintelligence」, https://arxiv.org/abs/2608.17271