昨今、大規模言語モデル（LLM）は、様々なアプリケーションで活用されています。LLMの能力を最大限に引き出すため、Chain-of-Thought (CoT) や In-Context Learning (ICL)、Retrieval-Augmented Generation (RAG) といった高度な技術が広く使われています。これらの技術の進化に伴い、LLMに入力されるプロンプトは、時には数万トークンにも達するほど長大化しています。

このようなプロンプトの長期化は、運用上および性能上の複数の課題を引き起こします。具体的には、トークン利用料を含む計算コストの増加や、推論速度の低下が避けられません。さらに、長文のプロンプトでは、中間部分に存在する重要な情報がLLMに無視されやすい「Lost in the middle」（位置バイアス） という深刻な問題も生じることが知られています。

これらの課題に対処し、コスト削減と高いパフォーマンス維持を両立させるために開発されたのが、プロンプト圧縮技術の1つである「LLMLingua」シリーズです。今回は、LLMの効率的な利用を可能にするこのフレームワーク、LLMLinguaの仕組みと、その進化形であるLongLLMLingua、そして高速性を追求したLLMLingua-2について、解説します。

プロンプト圧縮とは？

プロンプト圧縮 (Prompt Compression) とは、LLMの入力であるプロンプトの長さ、すなわちトークン数を大幅に削減しながら、元のプロンプトが持つ意味的完全性 (Semantic Integrity) や効果を可能な限り維持する技術です。このアプローチは、自然言語が本質的に冗長性を含んでいるという前提に基づいています。

近年、思考連鎖 (Chain-of-Thought: CoT)、文脈内学習 (In-Context Learning: ICL)、検索拡張生成 (Retrieval-Augmented Generation: RAG) といった高度なプロンプト設計技術が普及した結果、LLMに入力されるコンテキストは長大化し、時には数万トークンに達します。

プロンプト圧縮の主要な目的は、この長大化によって生じる喫緊の課題を解決することです。

目的と利点

• コストと計算資源の節約：トークン使用量を削減することで、LLMのAPI利用料や計算資源にかかる費用を大幅に削減できます。LLMLinguaシリーズは、最大で20倍の圧縮を達成し、運用コストの劇的な削減を実証しています。
• 推論速度の向上：長いプロンプトは推論速度の低下を招きますが、圧縮によって推論のレイテンシ を改善し、エンドツーエンドのシステム速度を向上させます。
• 入力制限の回避：LLMのコンテキストウィンドウの制限を実質的に拡張し、長文ドキュメントや複雑な対話履歴など、より多くの情報を入力できるようにします。
• Lost in the middle 問題の緩和：冗長な情報を除去し、質問やタスクに不可欠な情報の密度を高めることで、長文の中間にある情報がLLMに無視される「Lost in the middle」（位置バイアス）の問題を克服することを目指します。

主要な手法

プロンプト圧縮の代表的な手法は、入力された文脈から「重要度の低い」部分を効率的に特定し、削除することに焦点を当てています。

1. 情報エントロピー（パープレキシティ）に基づくトークン選択 (Information Entropy / PPL-based Selection)：LLMLinguaの基本的な技術です。GPT-2 smallやLLaMA-7Bといった小型の言語モデル (SLM) を使用し、プロンプト内のトークンのパープレキシティ (Perplexity: PPL) を計算します。PPLが低いトークンは冗長であるとみなし、これを削除することで圧縮を行います。
2. タスク/質問応答認識型圧縮 (Task/Question-Aware Compression)：LongLLMLinguaに採用されているアプローチで、質問文とコンテキストの関連度を評価する仕組みを導入し、質問に特に関連性の高い文脈（ドキュメント）を優先的に保持・並べ替えることで、特にRAGのような長文QAタスクの精度を向上させます。
3. 学習済み圧縮器（Token Classification）：LLMLingua-2が採用する手法です。LLM (GPT-4) から抽出した知識（データ蒸留: Data Distillation）に基づき、プロンプト圧縮を「保持」または「破棄」の2値分類タスクとして学習します。これにより、タスク非依存的 (task-agnostic) な圧縮が可能となり、汎化性能と高速性を両立します。

これらの技術は、長文ドキュメントの要約型QA、マルチターン対話の履歴圧縮、RAGにおける文脈短縮など、様々な応用領域で利用されています。しかし、圧縮の過程で情報が損失し、精度が劣化するリスク や、異なるタスクへの汎化性能を確保する課題 に常に対処する必要があります。関連する研究キーワードには、Context Compression、Retrieval Compression、Efficient Prompting、Prompt Distillationなどが挙げられます。

LLMLingua / LongLLMLingua / LLMLingua-2

LLMLinguaシリーズは、LLMの効率化という共通の目標を持ちながら、それぞれ異なる課題とシナリオに特化した進化を遂げてきました。ここでは、LLMLingua、LongLLMLingua、そしてLLMLingua-2という3つの主要な技術を解説します。

LLMLingua（ベース技術）

LLMLinguaは、小規模言語モデル（SLM: Small Language Model。例：GPT-2 smallやLLaMA-7B）を用いて、プロンプトの冗長な部分を特定し、削除するCoarse-to-fineプロンプト圧縮の手法を採用しています。

主な構成要素は以下の通りです。

1. 予算コントローラー (Budget Controller)：プロンプトを構成する要素（命令 (instruction)、質問 (question)、デモンストレーション (demonstrations) など）の重要度に基づき、動的に異なる圧縮率（予算）を割り当てます。一般に、命令や質問は生成結果に直接影響するため、デモンストレーションよりも多くの予算（低い圧縮率）が割り当てられ、情報の完全性（Semantic Integrity）が維持されます。このモジュールは、粗粒度のデモンストレーション・レベルの圧縮を実行します。
2. 反復トークンレベルプロンプト圧縮 (Iterative Token-level Prompt Compression, ITPC)：トークン間の条件付き依存性を考慮しながら、細粒度（Fine-grained）の圧縮を行います。これにより、圧縮されたコンテンツ間の相互依存関係をより適切にモデル化できます。
3. 分布アライメント (Distribution Alignment)：ターゲットLLMと圧縮に使用するSLM（例：AlpacaデータセットでファインチューニングされたLLaMA-7Bなど）との間の分布のギャップを埋めるため、インストラクションチューニングベースの手法を提案しています。

この基本技術により、LLMLinguaは最大20倍の圧縮率を達成しつつ、性能の低下を最小限に抑えることが可能となりました。

LongLLMLingua（長文コンテキスト対応）

LongLLMLinguaは、長文コンテキストシナリオ特有の課題、特にLLMが長文の中間部分の情報を無視しがちな「Lost in the middle」（位置バイアス）問題 や、冗長な情報の多さによる性能低下に対処するために、LLMLinguaを基盤として開発されました。

長文対応を実現するための主要な戦略は以下の通りです。

• 質問認識型粗粒度圧縮 (Question-Aware Coarse-Grained Compression)：質問文を条件とした文書のパープレキシティ（Perplexity, PPL）を評価する指標を導入し、質問との関連性が高い文書（ドキュメント）を優先的に保持します。
• 文書の並べ替え戦略 (Document Reordering)：LLMの位置バイアスを最小限に抑えるため、関連性の高い文書をプロンプトの先頭や末尾などの端に配置します。
• コントラストパープレキシティ (Contrastive Perplexity)：細粒度圧縮の際に、質問を条件とすることで生じる分布シフトを利用し、質問に関連するトークンをより的確に識別します。
• サブシーケンス回復戦略 (Subsequence Recovery)：圧縮後のプロンプトから生成された応答内のエンティティ（固有名詞など）の整合性を改善する事後処理（ポストプロセス）戦略です。

これらの工夫により、RAGのようなシナリオにおいて、トークン数を約4分の1に削減しながら、性能を最大21.4%向上させる効果が示されています。

LLMLingua-2（タスク非依存・高速化）

LLMLingua-2は、汎化性能と効率（高速性）を向上させるためのタスク非依存型の圧縮手法です。

• 課題への対処：従来のLLMLinguaが用いるPPLに基づく情報エントロピーは、プロンプト圧縮の目的と必ずしも一致せず、また因果LM（Causal LM）が単方向（unidirectional）コンテキストしか利用できないという課題がありました。
• トークン分類問題への再定式化：この課題を克服するため、プロンプト圧縮を「保持 (preserve)」または「破棄 (discard)」の2値トークン分類問題として再定式化しました。
• アーキテクチャと学習：特徴抽出器として、Transformerエンコーダ（BERTレベルの小型モデル。例: XLM-RoBERTa-largeやmultilingual-BERT）を使用し、双方向（bidirectional）のフルコンテキストを捕捉してトークンの重要性を判断します。
• データ蒸留：LLMLingua-2は、LLM（GPT-4）から知識を抽出し、MeetingBank（会議録の要約データセット）のトレーニング例を用いて構築された抽出的なテキスト圧縮データセットで学習されます。これにより、元のプロンプトに忠実な（hallucinationを含まない）圧縮テキストの知識を獲得し、タスク非依存で汎用性の高い圧縮モデルが実現します。LLMLingua/LongLLMLinguaの分布アライメントではAlpacaデータセットが利用されています。
• 多言語対応：LLMLingua-2は、ベースアーキテクチャにxlm-roberta-largeやmultilingual-BERTといった多言語対応モデルを採用しています。訓練は英語データ（MeetingBank）で行われていますが、事前学習で獲得した多言語能力により、中国語ベンチマークなどの多言語データに対しても優れた性能を発揮することが示されています。
• 高速化：この手法は、LLMLinguaと比較して3倍から6倍の高速化を実現し、エンドツーエンドの遅延（レイテンシ）を1.6倍から2.9倍に加速します。

Pythonによる実践

ここでは、軽量で多言語対応も可能な LLMLingua-2 を使い、実際にプロンプトを圧縮する方法を紹介します。ライブラリはpipから簡単にインストールでき、数行のコードですぐに試せます。

セットアップ

まず、必要なライブラリをインストールします。PyTorchが未インストールの場合は、先に入れておくとスムーズです。hf_transfer を使うと、Hugging Faceからのモデルダウンロードを高速化できます。

# 使用したいPyTorchのバージョンがあれば事前にインストールしておく
$ pip install torch==2.8.0 torchvision==0.23.0 torchaudio==2.8.0 --index-url https://download.pytorch.org/whl/cpu

# LLMLinguaをインストール
$ pip install llmlingua

# 学習済みモデルのダウンロードを高速化のために使用
$ pip install hf_transfer

# デモで使用するモデルを事前にダウンロード
$ HF_HUB_ENABLE_HF_TRANSFER=1 hf download "microsoft/llmlingua-2-xlm-roberta-large-meetingbank"

プロンプト圧縮の実行

サンプルコードでは、学術論文の要約を指示する詳細なプロンプトを対象に圧縮を実行します。

LLMLinguaの大きな特徴は、プロンプトの一部だけ圧縮率を変えたり、圧縮を無効にしたりできる点です。具体的には、プロンプト内で <llmlingua, rate=0.8> のようにタグで囲むことで、その部分の圧縮率を細かく制御できます。絶対に圧縮したくない命令部分（例：要約対象のAbstract本体）は <llmlingua, compress=False> と指定することで、情報の欠落を防ぎます。

BASE_PROMPT = """
あなたは学術論文の要約専門家です。  
対象分野は「機械学習・人工知能・データサイエンス」です。  
これから提示する **英語のAbstract** をもとに、以下の要件を満たす日本語要約を作成してください。

---

### 🎯 目的
- 論文が扱う **研究課題（何の問題を解決しようとしているか）**
- その課題に対して提案する **技術・手法（どのように解決しようとしているか）**
- 提案手法の **特徴・強み・既存手法との差異**
- 論文が示す **成果・効果（実験結果・検証内容など）**

---

### 🧩 出力形式（Markdown形式）

#### 🧠 論文の概要（専門的な観点から）
- **研究領域**：
- **解決しようとする課題**：
- **提案する技術・手法**：
- **手法の新規性・特徴**：
- **成果・有効性の検証**：

#### 💬 わかりやすい解説（一般向け）
専門用語をかみ砕いて、大学初学者や異分野の読者にも理解できるように説明してください。  
たとえば、「Transformerベースのアーキテクチャを用いた」とある場合には、  
「Transformerという言語モデルの仕組みを利用して情報を効率的に処理する方法」といった形で補足してください。

---

### 🪞 Self-Refine プロセス
1. **初期出力を生成**します。  
2. 出力を自ら点検し、以下の観点で改善が必要な箇所を特定します。  
   - 研究目的・課題が曖昧ではないか？  
   - 技術内容が具体的かつ正確に反映されているか？  
   - 一般向け説明が抽象的すぎたり、専門的すぎたりしないか？  
3. 必要に応じて**表現や構成を修正し、改善版を最終出力**として提示します。  

---

### 🧾 入力例
<llmlingua, rate=0.8>
This paper introduces a novel framework for improving the robustness of deep neural networks against adversarial attacks.
The proposed method combines feature denoising with adaptive adversarial training to enhance model stability.
Experimental results on CIFAR-10 and ImageNet demonstrate superior performance compared to existing defenses.
</llmlingua>


### 📘 出力例
#### 🧠 論文の概要（専門的な観点から）
- **研究領域**：深層学習における敵対的攻撃への防御手法  
- **解決しようとする課題**：ニューラルネットワークが敵対的サンプルに脆弱である問題  
- **提案する技術・手法**：特徴量のノイズ除去と適応的な敵対的学習を組み合わせた新しい防御フレームワーク  
- **手法の新規性・特徴**：特徴空間での安定性を向上させることで、敵対的摂動への感度を低減  
- **成果・有効性の検証**：CIFAR-10およびImageNetデータセットで既存防御法より高い精度と安定性を実証  

#### 💬 わかりやすい解説（一般向け）
<llmlingua, rate=0.8>
この研究は、AIが「だますために少しだけ改変された画像（敵対的サンプル）」に弱いという問題を解決しようとしています。  
研究者たちは、画像からノイズを取り除く処理と、「敵にだまされること」を想定した訓練を組み合わせることで、AIの耐性を高める方法を提案しました。  
その結果、従来よりも安定して正しい判断ができるAIモデルが実現しました。
</llmlingua>

---

### 🧩 要約対象のAbstract
<llmlingua, compress=False>
```
Large language models (LLMs) have been applied in various applications due to their astonishing capabilities. With advancements in technologies such as chain-of-thought (CoT) prompting and in-context learning (ICL), the prompts fed to LLMs are becoming increasingly lengthy, even exceeding tens of thousands of tokens. To accelerate model inference and reduce cost, this paper presents LLMLingua, a coarse-to-fine prompt compression method that involves a budget controller to maintain semantic integrity under high compression ratios, a token-level iterative compression algorithm to better model the interdependence between compressed contents, and an instruction tuning based method for distribution alignment between language models. We conduct experiments and analysis over four datasets from different scenarios, i.e., GSM8K, BBH, ShareGPT, and Arxiv-March23; showing that the proposed approach yields state-of-the-art performance and allows for up to 20x compression with little performance loss.
```
</llmlingua> little performance loss.
"""

以下のコードを実行すると、元のプロンプトが約1500トークンから700トークン弱へと、2.2倍の比率で圧縮されたことが確認できます。圧縮後のプロンプトは冗長な表現や空白が削ぎ落とされ、キーワード中心のテキストに変換されています。

from llmlingua import PromptCompressor
from prompt import BASE_PROMPT


def compress(prompt: list[str]):
    llm_lingua = PromptCompressor(
        model_name="microsoft/llmlingua-2-xlm-roberta-large-meetingbank",
        device_map="cpu",
        use_llmlingua2=True,
    )
    compressed_prompt = llm_lingua.compress_prompt(prompt, instruction="", question="", rate=0.5)
    print(compressed_prompt)


if __name__ == "__main__":
    compress([BASE_PROMPT])

{
    "compressed_prompt": "あなたは学術論文の要約専門家です。
対象分野は「機械学習・人工知能・データサイエンス」です。 **英語のAbstract**
をもとに、以下の要件を満たす日本語要約を作成してください。 目的 **研究課題 **技術・手法 **成果・効果
出力形式(Markdown形式 論文の概要 **研究領域** **提案する技術・手法** **手法の新規性・特徴**
**成果・有効性の検証** わかりやすい解説(一般向け)
たとえば、「Transformerベースのアーキテクチャを用いた」とある場合には、 Self-Refine プロセス
**初期出力を生成**します。 必要に応じて**表現や構成を修正し、改善版を最終出力**として提示します。 paper
introduces novel framework for improving robustness of deep neural networks against adversarial attacks
proposed method combines feature denoising adaptive adversarial training to enhance model stability
Experimental results on CIFAR-10 ImageNet demonstrate superior performance compared existing
defenses</llmlingua 出力例
論文の概要:深層学習における敵対的攻撃への防御手法:ニューラルネットワークが敵対的サンプルに脆弱である問題:
特徴量のノイズ除去と適応的な敵対的学習を組み合わせた新しい防御フレームワーク:特徴空間での安定性を向上させ
ることで、敵対的摂動への感度を低減:CIFAR-10およびImageNetデータセットで既存防御法より高い精度と安定性を実
証 要約対象のAbstract <llmlingua compress Large language models (LLMs applied in various applications
astonishing capabilities advancements chain-of-thought prompting in-context learning prompts LLMs lengthy
exceeding tens of thousands tokens accelerate model inference reduce cost paper presents LLMLingua
coarse-to-fine prompt compression method budget controller semantic integrity compression token-level
iterative compression algorithm model interdependence compressed contents instruction tuning method for
distribution alignment between language models experiments analysis over four datasets different
scenariosGSM8K BBH ShareGPT Arxiv-March23 proposed approach state-of-art performance 20x compression
little performance loss",
    "compressed_prompt_list": [
        "あなたは学術論文の要約専門家です。 対象分野は「機械学習・人工知能・データサイエンス」です。
**英語のAbstract** をもとに、以下の要件を満たす日本語要約を作成してください。 目的 **研究課題 **技術・手法
**成果・効果 出力形式(Markdown形式 論文の概要 **研究領域** **提案する技術・手法** **手法の新規性・特徴**
**成果・有効性の検証** わかりやすい解説(一般向け)
たとえば、「Transformerベースのアーキテクチャを用いた」とある場合には、 Self-Refine プロセス
**初期出力を生成**します。 必要に応じて**表現や構成を修正し、改善版を最終出力**として提示します。 paper
introduces novel framework for improving robustness of deep neural networks against adversarial attacks
proposed method combines feature denoising adaptive adversarial training to enhance model stability
Experimental results on CIFAR-10 ImageNet demonstrate superior performance compared existing
defenses</llmlingua 出力例
論文の概要:深層学習における敵対的攻撃への防御手法:ニューラルネットワークが敵対的サンプルに脆弱である問題:
特徴量のノイズ除去と適応的な敵対的学習を組み合わせた新しい防御フレームワーク:特徴空間での安定性を向上させ
ることで、敵対的摂動への感度を低減:CIFAR-10およびImageNetデータセットで既存防御法より高い精度と安定性を実
証 要約対象のAbstract <llmlingua compress Large language models (LLMs applied in various applications
astonishing capabilities advancements chain-of-thought prompting in-context learning prompts LLMs lengthy
exceeding tens of thousands tokens accelerate model inference reduce cost paper presents LLMLingua
coarse-to-fine prompt compression method budget controller semantic integrity compression token-level
iterative compression algorithm model interdependence compressed contents instruction tuning method for
distribution alignment between language models experiments analysis over four datasets different
scenariosGSM8K BBH ShareGPT Arxiv-March23 proposed approach state-of-art performance 20x compression
little performance loss"
    ],
    "origin_tokens": 1488,
    "compressed_tokens": 673,
    "ratio": "2.2x",
    "rate": "45.2%",
    "saving": ", Saving $0.0 in GPT-4."
}

ChatGPTによる実験

プロンプト圧縮の効果を確認するために、ChatGPTを活用して結果を出力してみます。まずは、ベースプロンプトで実行した結果です。

#### 🧠 論文の概要（専門的な観点から）

* **研究領域**：大規模言語モデル（LLM）の推論効率化およびプロンプト圧縮手法
* **解決しようとする課題**：Chain-of-Thought（思考連鎖）やIn-Context Learning（文脈学習）の活用により、LLMへの入力プロンプトが極めて長大化し、推論速度の低下や計算コストの増大を招く問題
* **提案する技術・手法**：LLMLinguaと呼ばれる粗から細への段階的プロンプト圧縮（coarse-to-fine compression）手法を提案。具体的には、(1) 意味を保ちつつ圧縮率を制御する「バジェットコントローラ」、(2) 圧縮内容間の依存関係を考慮したトークンレベルの逐次圧縮アルゴリズム、(3) 言語モデル間の分布整合性を維持する命令チューニングベースの整合化手法を組み合わせている。
* **手法の新規性・特徴**：高圧縮率（最大20倍）であっても意味的整合性を損なわず、文脈依存の情報を保ちながらプロンプトを効率的に短縮できる点。従来法よりも圧縮後の性能低下が小さい。
* **成果・有効性の検証**：GSM8K、BBH、ShareGPT、Arxiv-March23の4つの多様なデータセットで実験を行い、最先端の圧縮性能を達成。最大20倍の圧縮でも精度低下はごく僅かであることを実証。

---

#### 💬 わかりやすい解説（一般向け）

近年の大規模言語モデル（LLM）は、質問への思考過程を示す「Chain-of-Thought（思考連鎖）」や、与えられた文脈から学ぶ「In-Context Learning（文脈学習）」などの技術によって高性能になっています。
しかし、その分入力となる文章（プロンプト）が非常に長くなり、処理時間やコストが大きくなるという問題があります。

この研究では、その課題を解決するために **「LLMLingua」** というプロンプト圧縮技術を提案しています。これは、長いプロンプトを意味を保ちながら短くする仕組みで、重要な情報を失わないように段階的に圧縮します。さらに、AIモデル同士の理解のずれを防ぐための調整（命令チューニング）も取り入れています。

実験では、数学問題や一般知識タスク、会話ログ、研究論文など多様なデータを用いて検証した結果、**最大20分の1まで圧縮しても性能がほとんど落ちない**ことが確認されました。
つまり、LLMLinguaは「長文でも賢く短縮して高速に処理できるAIの新しい仕組み」と言えます。

---

#### ✅ Self-Refine 点検・改善プロセス

1. **課題の明確化**：長大プロンプトによる推論コスト増大という具体的問題を明示。
2. **技術の具体化**：バジェットコントローラ・逐次圧縮アルゴリズム・命令チューニングの3要素を明確に記述。
3. **一般向け説明の改善**：専門用語に補足を加え、概念的に理解しやすい説明へ修正。
4. **成果の強調**：20倍圧縮と性能維持という定量的成果を強調し、インパクトを明確化。

以上を反映した内容を最終版として提示しました。

次は、圧縮されたプロンプトを使用した結果です。

結果を確認すると、圧縮後のプロンプトでも、元の指示の意図をほぼ完全に汲み取り、遜色のない品質の要約が生成されました。これは、LLMLinguaが単語を無差別に削るのではなく、意味的な重要度を判断して圧縮していることを示しています。これにより、APIコストと実行時間を削減しつつ、LLMの応答品質を維持することが可能になります。

## 🧩 論文の概要

本論文は、大規模言語モデル（LLM）における**長大なプロンプト処理の非効率性**という課題に対し、**意味を保ったまま入力を圧縮する新しいプロンプト圧縮手法「LLMLingua」**を提案している。提案法は、LLMの**推論速度向上**と**コスト削減**を目的としている。

---

## 🧠 研究領域

* 大規模言語モデル（LLM）
* 自然言語処理（NLP）
* プロンプト最適化・圧縮技術
* モデル推論効率化

---

## ⚙️ 提案する技術・手法

**LLMLingua** は、「粗から細」(coarse-to-fine) のアプローチに基づく**意味保持型プロンプト圧縮フレームワーク**である。
主な構成要素は以下の通り：

1. **バジェットコントローラ**：与えられたトークン制約（コスト予算）内で最適な圧縮率を制御。
2. **意味的完全性を維持する圧縮アルゴリズム**：テキストの情報損失を最小化しながら不要トークンを除去。
3. **トークンレベル反復圧縮 (iterative compression)**：LLM出力との依存関係を考慮しつつ段階的に圧縮を最適化。
4. **命令調整 (instruction tuning) による分布整合**：異なるLLM間での圧縮後プロンプトの分布を整合化し、性能低下を防ぐ。

---

## 🌟 手法の新規性・特徴

* **粗密二段階の圧縮戦略**により、情報の核を保ちながら劇的なトークン削減を実現。
* **意味保持を重視した圧縮設計**により、LLMの応答精度をほとんど損なわずに効率を向上。
* **モデル間依存性の考慮**により、異なるLLM環境下でも高い汎用性を確保。

---

## 📈 成果・有効性の検証

* **実験データセット**：GSM8K（算数推論）、BBH（思考課題）、ShareGPT、Arxiv-March23（研究要約）
* **結果**：

  * 最大 **20倍の圧縮率** を達成しながら、性能低下は極めて小さい。
  * 既存のプロンプト圧縮法を上回る**最先端（state-of-the-art）性能**を実証。
  * 推論コストの大幅削減と応答時間の短縮を同時に実現。

---

## 💡 わかりやすい解説（一般向け）

ChatGPTのような大規模言語モデルは、長い指示文や大量のコンテキストを扱うと**処理時間とコストが急増**します。
本研究の「LLMLingua」は、文章の意味を損なわずに**プロンプトを自動的に短くまとめる技術**です。
たとえば、10,000文字の入力をわずか1/20の長さに圧縮しても、回答の品質をほぼ維持できます。
これにより、**高速・低コストなAI利用**が可能になり、教育・研究・産業など幅広い分野での応用が期待されます。

---

✅ **最終要約（改訂版）**

> 大規模言語モデルの推論効率を高めるため、意味保持を重視した粗密二段階型プロンプト圧縮法「LLMLingua」を提案。バジェット制御・逐次圧縮・分布整合チューニングを組み合わせ、最大20倍の圧縮を実現。GSM8K、BBH、ShareGPT、Arxiv-March23で最先端性能を達成し、推論速度とコスト効率を大幅に向上させた。

LLMLingua-2の独自モデル学習

特定のドメイン（例: 医療、法律）で最高の性能を発揮するために、独自の圧縮モデルを学習させることができます。

1. データ収集: ドメイン固有のテキストデータを準備します。
2. GPT-4による圧縮: GPT-4に指示を与え、準備したデータを圧縮させ、教師データを作成します。
3. ラベリングとフィルタリング: 元の単語に「保持」または「削除」のラベルを付け、品質の低いサンプルを除去します。
4. モデル学習: train_roberta.py スクリプトを使用して、独自の圧縮モデルを学習させます。

詳細は LLMLingua-2 Experimentsを参照してください。

おわりに

今回は、LLMの長大化するプロンプトがもたらす課題を解決するために開発された、LLMLingua、LongLLMLingua、そしてLLMLingua-2の各シリーズについて解説しました。これらの技術は、LLMの運用における主要なボトルネック、すなわち計算コストの増大、推論レイテンシ（遅延）の高さ、そして長文による性能劣化を効果的に克服します。

LLMLinguaシリーズは、プロンプトを最大で20倍まで圧縮できるため、GPT-4oなどのAPI利用コストを大幅に削減できます。例えば、LongBenchにおいては最大90.5%のコスト削減を達成しています。また、LLMLingua-2は、従来のLLMLinguaに比べて3倍から6倍の高速化を実現し、エンドツーエンドのレイテンシを1.6倍から2.9倍に加速します。

性能面では、複雑な思考連鎖（CoT）や文脈内学習（ICL）といった推論に必要な重要な情報を効果的に保持します。特にLongLLMLinguaは、質問認識型の圧縮と文書の並べ替え戦略によって、「Lost in the middle」の問題を緩和し、RAG（検索拡張生成）シナリオにおいて、性能を最大21.4%向上させる実績を示しています。

さらに、LLMLinguaシリーズは対象LLMの追加トレーニングを必要とせず、LangChainやLlamaIndex、Prompt flowといった主要なRAGフレームワークにシームレスに組み込み可能であるため、実用性が非常に高いです。

プロンプト圧縮技術は、LLMの推論効率を高めるだけでなく、将来的な応用として、KVキャッシュの圧縮（例：MInferenceやRetrievalAttentionなど）を通じて、さらに高速化を実現する潜在的なソリューションとなっています。今後、長文を扱う様々なLLMアプリケーションにおいて、プロンプト圧縮技術が必須の技術となることが期待されます。

More Information

• 2023.emnlp-main.825, Huiqiang Jiang et al., 「LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models」, https://aclanthology.org/2023.emnlp-main.825/
• 2024.acl-long.91, Huiqiang Jiang et al., 「LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression」, https://aclanthology.org/2024.acl-long.91/
• 2024.findings-acl.57, Zhuoshi Pan et al., 「LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression」, https://aclanthology.org/2024.findings-acl.57/