大規模言語モデル（LLM: Large Language Model）を業務の意思決定に組み込もうとすると、「スケジューリングやリソース配分のような組合せ最適化問題に、LLMをどこまで使えるのか」という疑問にぶつかります。数理最適化や進化計算（EC: Evolutionary Computation）の分野は長年、専門家が問題を数式に落とし込み、遺伝的アルゴリズム（GA）や差分進化（DE）などのアルゴリズムを丁寧にチューニングして解を求めるという、専門知識に強く依存したワークフローで運用されてきました。LLMの登場は、この「自然言語での問題記述」から「数理モデル化」、そして「アルゴリズムによる求解」までの一連のプロセスを自動化・半自動化できるのではないか、という期待を生んでいます。

この分野の取り組みはここ数年で急増していますが、既存の解説や総説の多くはLLMが最適化のどこか一部の役割だけを扱っており、モデリング（Problem Formulation）と求解（Solving）を横断して整理した知見は少ないのが実情です。

そこで今回は、LLMの役割を「最適化モデリング」と「最適化求解」の2段階に分け、さらに求解を3つのパラダイムに細分化するワークフロー指向の分類体系として解説します。加えて、ベンチマーク実験結果から各パラダイムの実力を定量的に整理し、実務者向けの手法選択ガイドラインまで踏み込んで紹介します。

この記事では、この分類体系の全体像、各カテゴリの代表的な手法とその技術的限界、ベンチマーク比較から見えてくる「LLMが得意な領域と不得意な領域の境界線」、応用分野の広がり、そして今後の開発・応用の方向性について解説します。

1. なぜ今、LLM×最適化の整理が必要なのか

最適化実務のワークフローと専門知識の壁

最適化を実務で適用するワークフローは、大きく次の2段階に分かれます。

1. モデリング: 現実の課題を、目的関数・変数・制約条件という形式に落とし込む工程です。
2. 求解: 定式化されたモデルに対して最適化アルゴリズムを適用し、解を探索する工程です。

このプロセスには、以下のようなトレードオフや制約が存在します。

• 厳密解手法: 最適解を保証できますが、問題規模が大きくなると計算コストが急増します。
• ヒューリスティクス（近似手法）: 大規模な問題を効率的に扱える反面、最適性の保証がありません。
• ノーフリーランチ定理: あらゆる問題クラスに対して最良の性能を発揮する単一のアルゴリズムは存在しません。

そのため、効果的な運用にはアルゴリズムの選択・設定・カスタム設計に関する専門知識が欠かせず、これが高度な最適化技術を実務へ転用する際の大きな障壁となっていました。

従来の機械学習アプローチとその限界

機械学習（特に強化学習や教師あり学習）の導入により、専門知識への依存は部分的に軽減されてきました。

• コンポーネントレベルの自動化: 個体群の初期化、適応度評価、オペレータ選択、パラメータ制御など
• 戦略レベルの自動化: アルゴリズム選択やアルゴリズム生成など

しかし、これら手法の多くは狭く定義された問題分布で学習されるため、未知の問題では性能が低下しやすく、適応のたびにコストのかかる再学習が必要になるという汎化性の課題が残されていました。

LLMがもたらす新たなアプローチ

LLMは、事前学習によって獲得した幅広い知識と、意味的な理解、構成的な抽象化能力、そして文脈内学習（In-Context Learning）を併せ持っています。この特性から、従来の汎化性の課題に対する補完的な選択肢として位置づけられます。

特に、以下のような場面と相性がよいとされています。

• 目的や制約が自然言語や構造化された記号で表現されている場面
• 人間が読みやすい候補生成や説明が求められる場面
• 分野横断的な事前知識が必要とされる場面

これまでの整理における構造的ギャップ

これまでの議論や総説には、次の2つの構造的ギャップが存在していました。

1. モデリングの周辺化:
   多くの先行する解説はLLMを最適化の「ソルバー」や「アルゴリズム生成器」として扱うことに偏っており、最適化モデリングは周辺的な話題として扱われがちです。
2. 求解の役割分担の未整理:
   求解段階を扱う場合も、LLMが担いうる複数の役割を単一の共通フレームワークの中で位置づけておらず、それぞれの役割がどう補完し合うのかが十分に整理されていませんでした。

実際、主要な関連文献を見渡しても、最適化モデリングと求解の3つの役割をすべて同時にカバーしているものは一つも存在せず、いずれかの役割に絞った構成にとどまっています。

ワークフロー指向の4つの分類体系

ここでは、ワークフロー指向の視点からフィールド全体を次の4つのカテゴリに整理します。

• 最適化モデリング（Optimization Modeling）:
  非構造的な自然言語の問題記述を、機械が解釈・求解できる数理最適化モデル（変数・目的関数・制約条件）に変換する役割です。
• 最適化器としてのLLM（LLMs as Optimizers）:
  従来の最適化フレームワークに組み込まず、LLM自身が自然言語的なやり取りを通じて反復的に候補解を生成する、スタンドアロンの最適化器としての役割です。
• 低レベルのLLM支援（Low-level LLM-assisted Optimization Algorithms）:
  個体群初期化・進化的オペレータ・パラメータ制御・適応度評価といった、確立された最適化アルゴリズムの特定コンポーネントにLLMを組み込む役割です。
• 高レベルのLLM支援（High-level LLM-assisted Optimization Algorithms）:
  アルゴリズム選択やアルゴリズム生成など、最適化アルゴリズムそのものの設計・統括を担う役割です。

この分類体系により、モデリングから求解までの全工程でLLMがどのように関与しうるかを一貫した枠組みで比較できるようになります。

2. LLMによる最適化モデリング

最適化モデリングは、伝統的に高度な数学的専門知識が要求されます。LLMは、自然言語の仕様を変数・目的関数・制約条件といった形式的な要素へと写像するメカニズムを提供します。この分野の手法は、「プロンプトベース手法」と「学習ベース手法」の2つに大別して整理できます。

2.1 プロンプトベース手法

初期アプローチとその課題

初期の試みでは、実行可能解のサンプルから問題構造を推論したり、進化的アルゴリズムを使って制約を生成したりすることで、専門家の関与を減らそうと図られていました。しかし、これらは部分的な自動化の実現可能性を示したものの、サンプルの質や網羅性への依存が強く、制約の生成にとどまり自然言語記述を完全な数理モデルへと翻訳するには至りませんでした。

直接翻訳と二段階フレームワークの登場

その後の展開では、非構造的な自然言語から数理最適化モデルへの直接翻訳へと軸足が移っています。

• 二段階フレームワークの基本形:
  固有表現認識（NER: Named Entity Recognition）で問題文から変数や数量を抽出したのち、注釈付きの記述からモデルを生成するアプローチです。
• 単発生成の限界:
  GPT-3.5に単発でモデルを生成させ外部ソルバーで検証する単純なアプローチも提案されましたが、単一の生成ステップでは複雑な定式化に対する精度や頑健性が不十分でした。
• フレームワークの発展と拡張:
  信頼性を高めるため、「エンティティ・関係の特定」「問題の形式化」「コード生成」という工程に分解する手法や、混合整数計画問題まで拡張して論理制約やバイナリ変数の分類までファインチューニングでこなす手法が登場しました。同様の二段階ワークフローは、エネルギー管理や旅行計画といった応用にも展開されています。

パイプラインを柔軟にする2つの拡張アプローチ

固定的なパイプラインをさらに柔軟にする拡張として、以下の2つのアプローチが挙げられます。

• マルチエージェントフレームワーク:
  定式化・実装・検証といった補完的なモデリング役割を複数のLLMエージェントに割り当て、相互チェックによってカバレッジと一貫性を高める手法です。代表例であるChain-of-Experts（CoE）は、11種類の専門エージェントを統括役（Conductor）がコーディネートし、フォワードの思考連鎖（Chain of Thought）を構築したうえで、バックワードの内省によって誤りや矛盾を修正する仕組みを備えています。
• 対話型フレームワーク:
  要件や好みが変化する会議調整や旅行計画などを想定し、ユーザーとの対話を維持しながら定式化を段階的に改訂していく手法です。単発入力と対話的入力の両方に対応する精緻化モジュールを備え、問題記述を段階的に明確化したうえで、変換・応答の各モジュールでモデリングと検証を行います。

2.2 学習ベース手法：モデリング知識をLLM自体に内在化させる

ORLMワークフローの確立

学習ベース手法は、モデリング知識をプロンプトだけでなくモデルのパラメータ自体に符号化することを狙います。代表的なワークフローであるORLMは、「データ合成」「命令チューニング」「評価」を組み合わせた汎用的な手順を確立しました。

1. 拡張（Expansion）段階:
   GPT-4を用いて、多様な難易度のシナリオについての問題を生成します。
2. 増強（Augmentation）段階:
   目的関数や制約を変更し、問題記述を言い換え、マッチング補正と重複排除によってデータの一貫性を高めます。
3. ファインチューニング:
   得られたデータを用いてMistral-7BやDeepSeek-Math-7B-Baseなどのオープンソースモデルをファインチューニングします。

この結果、単発のGPT-4生成や、CoE・OptiMUSといったプロンプトベース手法を上回る性能が示されています。

データ合成と学習手法の発展

後続の取り組みの多くはORLMのワークフローを踏襲しつつ、さらなる改良を進めています。

• データ合成の改良:
  数理最適化の事例を先に構築してから自然言語の問題文へと翻訳する「逆生成」のアプローチや、双方向合成によって問題の複雑さを制御しつつ生成ペアをフォワードモデリングと棄却サンプリングで検証する手法が開発されています。
• 注釈の質とカリキュラム設計:
  変数定義を含む詳細なモデリング過程の注釈を付与する手法や、問題の複雑さを反復的に高めながら各生成ステップを検証する手法が提案されています。
• ファインチューニング手順の改善:
  複数命令のファインチューニングとアライメント・自己修正の仕組みでハルシネーションを抑える手法や、外部ソルバーが与える検証可能な報酬を用いた強化学習によってモデリングの数学的正確性を高める手法などが並行して開発されています。

2.3 モデリング手法のトレードオフ

プロンプトベース手法と学習ベース手法には、それぞれ明確なトレードオフが存在します。

• プロンプトベース手法:
  • メリット: 大規模な注釈付きデータセットを構築することなく、迅速に展開できます。
  • デメリット: 定式化の精度は事前学習済みモデルの形式推論・数値処理能力に依存します。厳密な記号構造や暗黙的な制約の復元、数値的な一貫性が求められる問題ではエラーが生じやすくなります。
  • リスク: 外部APIへの依存が、医療スケジューリングや防衛計画のような機密性の高い応用においてデータガバナンス上の懸念を生むことがあります。
• 学習ベース手法:
  • メリット: 高い信頼性とデータの管理性を確保できます。
  • デメリット: データ生成・検証・再学習のコストが高く、特に複数の問題領域やモデル規模にまたがって反復する場合に負担が大きくなります。
  • 課題とジレンマ: 性能の後退を招かずにファインチューニング済みモデルを更新する確立された手順が整っていません。また、汎用推論モデル自体の急速な進歩が、手厚く設計された訓練パイプラインの相対的な価値を下げかねないというジレンマも抱えています。

デプロイ状況に応じた使い分け

状況に応じた使い分けの基準として、以下が挙げられます。

• プロンプトベース手法: 迅速な展開と少ない学習リソースが優先される状況
• 学習ベース手法: 高い信頼性やプライバシー保護が求められ、安定した特定領域での反復利用が学習コストに見合う状況

3. LLMによる最適化求解

最適化の求解は、定式化された問題に対してアルゴリズムが解を探索する実行段階です。この段階でLLMに割り当てられる役割は、「スタンドアロン最適化器」「低レベル支援（アルゴリズム内の部品）」「高レベル支援（アルゴリズムの統括・生成）」の3つに区別されます。

3.1 スタンドアロン最適化器としてのLLM

基本メカニズム（OPRO）

このパラダイムを確立したOPROは、最適化問題を自然言語で表現し、過去の候補解とそのフィードバックを繰り返しプロンプトに含めてLLMに問い合わせる手法です。モデルは解とフィードバックの履歴からパターンを推論し、次の候補を提案します。

• 適したタスク: 候補を意味的に表現でき、人間が検査可能な離散的・言語構造を持つタスクに自然に適合します。
• 適用例: 勾配降下法、山登り法、グリッドサーチ、ブラックボックス最適化など幅広い設定で評価されています。

入力情報の質を向上させる工夫

後続の取り組みでは、反復中に与える情報の質を改善するアプローチが発展しています。

• 構造化された実行トレース:
  生の履歴ではなく、候補をソート・離散化した状態を渡して系列認識問題として再定義する手法や、中間値・関数呼び出しを含む構造化トレースを渡して誤差逆伝播に似た更新を支援する手法が提案されています。
• マルチモーダル最適化:
  車両経路問題の説明文に地図を組み合わせる手法、散布図とマルチエージェント推論を組み合わせる手法、グラフを画像としてレンダリングして位相情報を伝える手法などが報告されており、視覚表現が非構造的な数値履歴よりも有用なコンテキストを提供しうることが示されています。

性能境界と本質的弱点

実証的な検証により、スタンドアロンLLM最適化には明確な性能境界が存在することが判明しています。

• モデル依存性: 小型モデルほど長い反復履歴を有効に活用できません。
• 数値的連続最適化の苦手さ: 記号的・言語構造的な問題で強みを見せる一方、数値的な連続最適化では性能が低下します。
• 性能低下の要因: 問題が意味的構造を欠き、精密な数値較正、高次元性、限られた評価予算を要求する場合にこの弱点はより顕著になります。

3.2 進化的アルゴリズムの部品としてのLLM（低レベル支援）

低レベル支援は、集団ベース探索（進化的アルゴリズム: EA）とLLMの推論能力を組み合わせるアプローチです。EAが探索・選択・制約処理の明示的なメカニズムを提供する一方、LLMは意味的な事前知識やドメイン知識、適応的な局所判断を提供します。探索構造全体を保持したまま、LLMが得意とする局所タスクに役割を限定できる点が特徴です。

このアプローチは、以下の4つの段階に沿って整理できます。

① 初期化

探索の初期分布は、その後の収束や解の質を大きく左右します。目的関数を評価する前の段階で、もっともらしい候補をLLMに提案させて事前知識を注入する試みがなされています。

• 適用例: ニューラルアーキテクチャサーチ（NAS）における構成要素提案、酵素設計における変異体ライブラリ生成、金融ポートフォリオの初期集団生成など
• 注意点: 推論コストがかかる点に加え、実行可能性が保証されない点に注意が必要です。この問題は制約が厳しく問題規模が大きいほど深刻になります。

➁ 進化的オペレータ

オペレータは、既存の解を新しい候補へと変換する仕組みを決定します。

• プロンプティング型の代替案: 問題記述と親個体を読み込んだLLMに交叉や突然変異のバリエーションを生成させる手法です。
• 具体的な適用: Few-shot プロンプティングによるテキストベースゲノムの交叉・組換え、サンプリング温度調整による探索と活用のバランス制御、選択・パーティクルスウォーム最適化への適応などが提案されています。
• 計算コストの抑制策: 各世代の一部の個体のみをLLMに生成させて残りは従来オペレータに任せる手法や、集団の改善が停滞したときのみLLMを呼び出す手法など、選択的な起動の工夫が報告されています。

③ アルゴリズム設定

ハイパーパラメータやオペレータの選択は、EAの性能に強く影響します。

• 従来の課題: メタブラックボックス最適化（MetaBBO）などの強化学習によるオンライン制御は、問題固有の学習を要し、学習分布外への汎化が弱いという課題がありました。
• LLMの役割: 観測された探索特徴を設定の意思決定へと写像する学習不要の代替手段を提供します。ただし、数値パラメータを制御する能力そのものには不確実性が残ります。
• 適用例: (1+1)進化戦略（ES）のステップサイズ適応にOPRO形式のコントローラを用い、更新の根拠をモデルに説明させる手法などが報告されています。

④ 評価

目的関数評価が高コストなシミュレーション等を伴う場合、評価は主要なボトルネックとなります。

• サロゲート支援最適化: 過去の解から目的関数値や候補の質を予測してコストを削減する手法です。LLMは直接のサロゲートとしても、サロゲートモデルの管理者としても研究されています。
• 適用と課題: 分子最適化などデータが乏しい領域での表現利用や、複数エージェントによるモデル・基準の動的選択が報告されています。一方で、堅牢性・較正・スケーラビリティの面では、確立されたサロゲート学習手法を完全に置き換えるにはさらなる検証が必要とされています。

3.3 アルゴリズム選択・生成を担う高レベルLLM

高レベル支援は、個別の探索操作ではなく、最適化アルゴリズム全体に関わる意思決定をLLMに割り当てるアプローチです。これは、既存のアルゴリズムからポートフォリオの中で最適なものを選ぶ「アルゴリズム選択」と、対象タスクに合わせてアルゴリズムを構築・改良する「アルゴリズム生成」の2つに大別されます。

アルゴリズム選択

問題やアルゴリズムの特徴を抽出し、適切なアルゴリズムをポートフォリオから選択します。

• ソースコードやテキスト記述からコード理解によって高次元特徴を抽出し、特徴選択や類似度判定を行う手法
• ユークリッド距離で候補アルゴリズムを事前に絞り込んだうえで、問題とアルゴリズムの自然言語記述をLLMに比較させる手法

アルゴリズム生成：単発生成から反復探索への発展

アルゴリズム生成の研究・開発は、単発生成から反復探索へと明確に移行しています。

• 初期の単発生成: GPT-4によるメタヒューリスティクスの分解・再結合や、GPT-3.5を用いたプロンプトエンジニアリングによる生成が試みられました。しかし、これらは事前知識と一発推論に全面的に依存していました。
• 反復探索への移行（現在の主流）: 生成したアルゴリズムを実際に評価し、その性能情報を生成プロセスにフィードバックする枠組みが主流となっています。

代表例と関連手法

• EoH（Evolution of Heuristics）: ヒューリスティックを「自然言語のアイデア」として表現し、対応するコードをLLMに生成させる二重表現を採用しています。これにより、実行可能な評価を保ちながら抽象的な意味空間での探索が可能になり、ソースコードのみを変更するよりも効率的になるとされています。複数の組合せ最適化ベンチマークで手作りのベースラインを上回る結果が報告されています。
• その他の発展的手法:
  • コード進化グラフや振る舞い空間表現による探索過程の分析
  • 標準化された評価フレームワークの導入
  • ハイパーパラメータ最適化の組み込みによる反復コスト削減
  • モンテカルロ木探索（MCTS）を発想の探索空間に適用した早期収束の抑制
  • 多様性指標でバランスを取るハーモニーサーチと遺伝的アルゴリズムの組み合わせ

これらは総じて、「単発生成」から「生成・評価・修正を繰り返す探索フレームワーク」への進化を示しています。

3.4 3パラダイムに共通する技術的限界

3つのパラダイムは、LLMに割り当てる意思決定の構造レベルが異なるため、それぞれ固有のボトルネックを抱えています。

• スタンドアロン最適化器:
  • ボトルネック: 自己回帰的な系列予測と数値探索の間のミスマッチです。
  • 詳細: 長く非構造的な履歴は注意を分散させ、重要な中間状態を見えにくくします。個体群ベース探索では多数の候補関係を表現する必要が生じ、問題が一層深刻化します。次元数が増えるほど性能が急低下し、単純な球面関数でさえ探索が停滞します。
• 低レベル支援:
  • ボトルネック: 割り当てられる意思決定空間の規模と相互依存性です。
  • 詳細: 局所的・離散的操作では効果的ですが、個体群全体の初期化やアルゴリズム設定全体のような大域的タスクでは、多数の協調した意思決定が求められます。自己回帰生成は大域的な実行可能性や一貫性を保証できず、パラメータ更新が保守的になり探索幅を狭める傾向も指摘されています。
• 高レベル支援:
  • ボトルネック: 計算コストの高さと階層的設計の難しさです。
  • 詳細: 各候補の評価にLLM呼び出し・コード実行・複数ベンチマークでのテストが必要となり、多大な計算資源を消費します。また、現状の手法は根本的に新しいアルゴリズム原理を生み出すよりも、既存の戦略を組み合わせ直す傾向が強いとされています。

パラダイムに応じたデプロイ原則

• 数値的・高次元の最適化: 従来の進化的アルゴリズム（EA）を既定の選択肢として維持することが推奨されます。
• LLMの適用領域: 言語的・意味的構造が強いタスクや、確立されたアルゴリズム内で狭い意思決定役割を割り当てる場面で真価を発揮します。

4. どれだけ使えるのか？

4.1 評価プロトコルの整理

モデリングベンチマークの発展と評価手法

モデリングベンチマークは以下の3世代を経て発展してきました。

1. コンペティション主導で始まった第一世代
2. 手作業で収集されたデータセットによる第二世代
3. スケーラブルな合成生成による第三世代

評価手法には大きく2系統があります。

• 客観値ベースの評価: 生成された定式化をソルバーで実際に解き、正解と一致した割合を測る「pass@1」が最も広く使われています。
• モデルベースの評価: 係数行列の変換、グラフ編集距離、理論的保証を持つグラフ同型判定などで定式化自体を直接比較します。より細かい正確性を測れる反面、参照モデルの構築コストが高い点が課題です。

求解ベンチマークの偏り

スタンドアロン最適化器や高レベルのアルゴリズム生成を評価するベンチマークは整備が進んでいる一方、低レベル支援を評価するための共通ベンチマークは依然として不足しています。

4.2 モデリング精度の比較

8種類のモデリングベンチマークすべてで結果が報告されている手法を比較すると、学習ベース手法の優勢が示されています。

手法カテゴリ	主なモデル・構成	平均pass@1
学習ベース手法	80億〜320億パラメータのオープンソースモデル	74.0 / 68.5
汎用フロンティアモデル	GPT-4o, DeepSeek-R1 ベースライン	63.9
マルチエージェント手法	複数の専門エージェントを統括	59.7
単一プロンプティング手法	思考連鎖（CoT）、対話統括型	約46.5

追加学習なしでモデルを利用したい実務者にとっては、高性能なクローズドソースモデルや専用チューニング済みモデルが直接的な選択肢となります。また、単純なプロンプティングで不十分な場合は、モデルの追加学習を伴わずに精度を高められる探索拡張型ワークフローも選択肢となります。

4.3 スタンドアロン最適化器の限界

スタンドアロン最適化器の実力を厳密に検証するため、実施されたベンチマーク実験の詳細を見ていきます。

実験設定

• 比較対象: OPRO形式の反復最適化 vs 古典的手法（差分進化: DE、粒子群最適化: PSO、共分散行列適応進化戦略: CMA-ES）およびランダムサーチ
• テスト関数: BBOBの4関数（Sphere, Rosenbrock, Discus, Schwefel）
• 実験規模: 次元数 2, 5, 10 / 各設定で5つの乱数シード
• LLMバックボーン: GPT-5-mini, DeepSeek-V4, Qwen3.5
• 評価予算: 全手法共通で「初期候補8個 ＋ 1イテレーションあたり8個 × 200イテレーション」＝ 合計1608回の目的関数評価

評価指標：相対改善率 \(r\)

各関数の目的関数値スケールの違い（Sphereは約\(10^3\)、Discusは約\(10^5\)など）や次元による最適値の変化を吸収するため、以下の正規化指標が用いられています。

$$r = \text{clip}_{[0,1]}\left(\frac{f_{init} – f_{best}}{f_{init} – f_{opt}}\right)$$

• \(f_{init}\): 初期のランダムサンプル中の最良目的関数値
• \(f_{best}\): 実行終了時点までに得られた最良目的関数値
• \(f_{opt}\): ベンチマーク関数の既知の最適値
• 処理: 初期状態から改善しなかった実行には0を割り当て、数値誤差による歪みを防ぐため値は0〜1の範囲にクリップされます。

実験結果：次元増加に伴う性能劣化

実験結果は、次元が増加するにつれてLLM最適化器の性能が急激に劣化することを明らかにしました。

• 古典的手法: CMA-ESやPSOは、10次元においても 0.98を超える 相対改善率を維持しました。
• LLM最適化器（GPT-5-mini）: 2次元での 0.896 から、10次元では 0.516 まで低下しました。
• Sphere関数（10次元）での結果: 古典的手法が確実に解けるこの単純な関数において、GPT-5-miniは 0.200、Qwen3.5は 0.146 にとどまりました。
• ランドスケープの影響: DiscusのようなランドスケープではLLM最適化器も比較的高いスコアを示しており、ランドスケープ構造の影響はあるものの、次元の増加が性能劣化の主要因であることが確認されています。

計算コストと消費トークン数

計算コストの面でも古典的手法との差は歴然としています。

• 所要時間: 古典的アルゴリズムが数秒で完了するのに対し、LLM最適化器は200回の逐次API呼び出しを要するため、1実行あたり 694秒〜1785秒 を要しました。
• トークン消費量: 60回の実行を通じて、3つのLLM全体で 入力4590万トークン、出力948万トークン を消費しました。入力トークンが突出して多いのは、OPRO形式が最適化の軌跡全体をプロンプトに累積追加していくためです。

探索中の2つの失敗モード

• 1. フォーマット失敗: 出力が要求された候補配列としてパースできず、摂動ベースのフォールバックが発動した事象です。
  • GPT-5-mini: 11件
  • DeepSeek-V4: 56件
  • Qwen3.5: 690件
• 2. 探索停滞: 有効な候補を返しながらも目的関数を改善できず、最終的な相対改善率が0.2を下回った事象です（全60回中）。
  • Qwen3.5: 16回（2次元Sphere関数では5回中4回が初期値付近で停滞）
  • GPT-5-mini: 5回
  • DeepSeek-V4: 1回

これらの結果から、反復型LLM最適化は連続数値最適化において成熟したEAに及ばず、次元増加に伴い性能が低下することが裏付けられました。今後の方向性として、「生の軌跡を有用な構造化要約へと圧縮すること」や「LLMを数値最適化器そのものではなく問題理解モジュールとして再配置すること」が挙げられます。

4.4 低レベル支援の効果

低レベル支援の検証として、(1+1)進化戦略のステップサイズ制御実験が行われました。

• 強化学習コントローラとの比較: DDQNやPPOといった学習型MetaBBOコントローラとLLMコントローラに同一の状態観測を与えて比較したところ、GPT-5-mini、DeepSeek-V4、Qwen3.5のいずれも、固定ベースラインだけでなく 学習済みのMetaBBOコントローラを上回る結果 を示しました。これは、狭く明確に定義された意思決定タスクであれば、LLMが極めて効果的に機能することを示しています。
• 出力表現方式の比較（連続出力 vs 離散行動選択）: Rastrigin関数において、軌跡全体から連続的なステップサイズを直接出力させる方式と、構造化状態から離散的な行動を選択させる方式を比較しました。
  • 連続出力方式: ステップサイズが狭い範囲に留まり、活用寄りの挙動に偏りました。モデルに浮動小数点の直接推論を要求するため、スタンドアロン最適化と同様の弱点が生じます。
  • 離散選択方式: 探索と活用の間を柔軟に行き来できました。意思決定空間を縮小して制御を単純化し、コンテキスト膨張による注意の分散を回避できるためです。

4.5 高レベル生成の効果と現実世界での失速

CO-Benchにおける評価結果

組合せ最適化ベンチマーク（CO-Bench）における比較では、一発生成と反復エージェント探索の間に顕著な差が現れました。

• 古典的ソルバー（チューニング済み）: 平均正規化目的スコア 0.797
• 直接生成型LLM（Claude 3.7 Sonnet）: スコア 0.651（古典的ベースラインを下回る）
• エージェント型反復探索: スコア 0.842 / 0.840（テストインスタンスの半数以上で古典的ソルバーの解を超越し、上回る性能を達成）

ただし、エージェント型手法であっても有効な実行可能解を生成する頻度は古典的ソルバーより低く、生成されたアルゴリズムもベクトル化・局所探索・焼きなまし法といった既存技術の組み合わせにとどまっています。

現実的な高難度タスクでの性能低下

難易度の高い競技レベルの実世界インスタンスや科学工学問題で評価を行うと、優位性は大きく失われます。

• ある手法では、CO-Benchでのスコア 0.77 から高難度ベンチマークでは 0.45 まで低下しました。
• 他の手法も専門家水準の基準に対して 0.45〜0.62 にとどまり、課題の現実性が高まるにつれて実行可能性・スケーラビリティ・新規性が損なわれる傾向が確認されています。

3つの典型的な失敗パターン

1. 反復的なパッチ当て: プログラムの中心的な欠陥を修正せず、変数名の変更や無関係なループの並べ替えといった表面的な修正を繰り返す現象です。
2. 自己評価の失敗: 生成したアルゴリズムの品質をエージェント自身が正しく評価できない問題です。時間切れを起こしたコードを「ほぼ最適で効率的」と誤認する例が報告されています。
3. 後付けの実行可能性確認: 構築段階で制約を考慮せず、生成後に違反が判明して場当たり的な修正を行う問題です。大規模インスタンスでのタイムアウトや、制約充足のための後付け修正によるロジックの破綻が見られます（例：コンテナ積み付け問題における重量制約チェックの後付け対応）。

4.6 実務者向けの手法選択ガイドライン

手法選択のための判断軸として、以下の3つが挙げられます。

1. 問題構造: 数理定式化やアルゴリズム設計のような言語構造の強いタスクにはLLMが適していますが、数値的で高次元な連続問題には古典的EAが適しています。
2. 意思決定の粒度: 離散的なパラメータ制御のような狭く動的な意思決定でLLMは真価を発揮し、大域的・個体群規模の探索では効果が限定的です。
3. デプロイ制約: 厳密な実行可能性、インスタンスごとの高い信頼性、データプライバシーが求められる環境では、古典的ソルバーやローカルなファインチューニング済みモデルが望まれます。また、利用可能な計算・学習リソースに応じてプロンプトベースかファインチューニングかを選択する必要があります。

5. 実際にどこで使われているか？

LLM支援の最適化は、ベンチマーク上の問題にとどまらず幅広い実分野に展開されています。

5.1 計算機科学分野

• ニューラルアーキテクチャサーチ（NAS）:
  • 主に低レベル支援が活用されています。
  • Few-shotプロンプトによる候補生成や、サンプリング温度の混合による多様性向上を図るオペレータとして利用されます。
  • 品質多様性探索、役割ベースのプロンプト多様化、グラフNAS、初期化支援へと拡張されています。
• セキュリティ最適化:
  • 自己内省によりジェイルブレイク接尾辞を生成するスタンドアロン最適化器としての利用
  • ジェイルブレイクプロンプトの効率性・転移性を高める探索オペレータとしての利用
  • 敵対的サンプル生成関数そのものを最適化し、攻撃戦略を進化させる高レベルな利用

5.2 自然科学分野（化学・生物学・物理学）

自然科学分野は高次元空間、高コスト評価、明示化しにくいドメイン知識を伴うため、LLMは事前知識の注入や構造化候補の生成、探索調整役として活用されます。

• 化学（分子設計）: 化学知識を持つLLMをEA内の交叉・突然変異オペレータとして組み込む手法が中心で、多目的分子探索へも拡張されています。
• 生物学（タンパク質・酵素設計）: 酵素設計の変異体ライブラリ初期化、タンパク質設計の変異オペレータ、制約下での配列修正を行う二段階最適化器、機能予測マッピングと配列最適化の統合などで利用されています。
• 物理学: データからの偏微分方程式の導出、乱流クロージャモデリング、レーザーパラメータ最適化のコード生成・デバッグ、流体力学シミュレーションのパラメータ提案など、モデリングと求解の双方に展開されています。

5.3 工学・産業分野

• 無線通信:
  • モデリング支援: 資源配分問題の非凸要素を特定して求解可能に再定式化する支援や、RAGによる外部専門知識の取り込み
  • 求解支援: アクセスポイント配置への直接適用、電力制御、複数UAV（無人航空機）配置の最適化
• 産業デザイン: チップ設計におけるPPA（性能・電力・面積）調整エージェント、依存関係を符号化する設計構造マトリクスの最適化、フォトニック構造設計へのアルゴリズム生成
• スケジューリング: エッジサーバ環境におけるタスクスケジューリングへのLLM生成ヒューリスティックの適用

6. 今後の展望

これまでの知見から、さらなる進展を妨げる構造的ギャップを解消するための3つの将来展望が見えてきます。

6.1 モデリングと求解の分断を埋める

従来のワークフローでは、自然言語モデリングで得られた数理モデルを外部ソルバーに渡して終了となり、LLMが前段に固定されて求解段階の知見を活かせないという分断がありました。これを解消するため、以下の2つの方向性が挙げられます。

• エンドツーエンドの閉ループワークフロー: 問題理解・定式化・アルゴリズム設計・実行・評価を1つの閉ループで連結し、定式化や探索挙動に応じて解法戦略そのものを動的に選択・生成するシステムです。
• モデルとアルゴリズムの並行共進化: モデル構造がアルゴリズム設計を条件づける一方、探索の失敗パターンから欠落した制約を特定してモデルを再定式化するという、相互補正的な関係を構築します。

6.2 静的な手法から動的な自己進化へ

現在のLLM最適化手法の多くは、プロンプトや構造が事前に固定された「静的」な設計にとどまっています。今後は強化学習の動的適応に学び、以下の発展が期待されています。

• アルゴリズムの自己進化: LLMが探索フィードバックに応じて、表現・オペレータ・パラメータ・協調戦略を自律的に改訂する仕組みです。
• 技術的課題: 制御不能なドリフトの防止、実行可能性の維持、既知戦略の無駄な再発見の回避を両立させながら継続的適応を支える機構の開発が求められます。

6.3 エージェント的な最適化エコシステムへ

LLMを単独の最適化器としてではなく、多様なツールや人間と協調するエコシステム内のエージェントとして位置づけるアプローチです。

• 協調体制の刷新: 人間の専門家（暗黙知の抽出）、数理ソルバー、シミュレータと協調します。中央集権的な統括役のボトルネックを解消するため、系統樹的な共有グラフや非同期な相互作用に基づく分散協調モデルが提案されています。
• 適応と知識転移: 目的や制約の経時変化に伴う分布シフトを検知し、戦略をオンラインで改訂する仕組みが必要です。また、統一的な軌跡表現やモジュール化されたスキルライブラリにより、異種タスク間で経験やアルゴリズムを再利用・進化させるエコシステムの構築が展望されています。

おわりに

最適化モデリングと求解を一貫したワークフローとして捉え直し、求解をスタンドアロンの最適化器・低レベル支援・高レベル支援という3つのパラダイムに切り分けることで、LLMの有効性がどの構造レベル・どの意思決定粒度に依存するかが明確になりました。

ベンチマーク実験の結果は、実務者にとって示唆に富む内容です。高次元の連続最適化では依然として古典的なEAが優位であり、LLMは数理定式化やアルゴリズム設計のような言語構造の強いタスク、あるいは離散的なパラメータ制御のような狭い意思決定粒度において明確な価値を発揮します。裏を返せば、「LLMさえ使えば従来の最適化アルゴリズムを丸ごと置き換えられる」という期待は、少なくとも現時点のモデル群を前提とする限り過大であり、既存の最適化フレームワークの中にLLMを適材適所で組み込む設計判断こそが、実務での成果に直結する重要なポイントです。

特に、反復的なパッチ当てや自己評価の失敗、後付けの実行可能性確認といった失敗パターンは、エージェント型の最適化システムを本番環境に組み込む前に必ず検証しておくべきチェックポイントとして参考になります。今後は、モデリングと求解を結ぶエンドツーエンドのループ、探索フィードバックに応じてアルゴリズム自体を書き換えていく自己進化的な仕組み、そして人間の専門家やソルバー、シミュレータと協調するエージェント的なエコシステムへと、この分野の関心が広がっていくと予想されます。

GPT-5やDeepSeek-V4、Qwen3.5といった最新世代のモデルを用いてもなお、高次元の数値最適化という基礎的な課題が残っている以上、モデル単体の性能向上だけでなく、最適化の状態をどう構造化してLLMに渡すかという「インターフェース設計」の巧拙が、この分野の今後の進展を左右する重要な変数になりそうです。

More Information

• arXiv:2509.08269, Yisong Zhang, Ran Cheng, Guoxing Yi, Kay Chen Tan, 「A Systematic Survey on Large Language Models for Evolutionary Optimization: From Modeling to Solving」, https://arxiv.org/abs/2509.08269