AIエージェントの信頼性を決定づけるハーネス設計の最前線

LLMエージェントを本番環境で運用し始めると、多くの開発者が共通の課題に直面します。温度パラメータ（temperature）を下げて同一の入力を与えた場合でも、実行ごとにツールの呼び出し順序や最終出力が微妙に変動してしま […]

ASI-Bench: 科学的超知能への道のりと自理性の壁

LLMエージェントがコーディングやデータ分析、長時間にわたるタスク遂行など、様々なベンチマークで高いスコアを記録するようになってきました。そうした中で「AIは自律的に科学研究を進められるのか」という問いは、研究の場だけで […]

LLM（大規模言語モデル）を使ったエージェントシステムの実運用が広がるにつれて、コストの観点から小型・安価なモデルをどう活用するかが現実的な課題になっています。大型モデルに匹敵する性能を小型モデルに持たせる代表的な方法は […]

Claude Code、GitHub Copilot、Codexといった主要なAgent Host上で、SKILL.md という1枚のファイルにタスクの手順を記述することでエージェントの振る舞いを拡張する「Agent S […]

LLMエージェントに求められる役割は、質問に答えることから、スライド作成やスプレッドシート編集、3Dシーンの構築、CAD設計、音楽制作まで、実際にソフトウェアを操作して成果物を仕上げることへと広がっています。こうしたタス […]

エージェントが利用できるスキル（ツールやAPI、手順書などのドキュメント）は、SRA-Benchで約26,000件、SkillBench-Suppでは約77,000件におよびます。これほど大規模になると、膨大な選択肢から […]

近年、LLMベースのエージェントにおいて、自らのプロンプトやガードレールを修正し自己改善を進める「自動ハーネス最適化 (Automated Harness Optimization)」の導入が進んでいます。しかし、「観察 […]

現代のAIエージェントの能力は、基盤モデル単体の性能だけで決まるわけではありません。プロンプトの構築、状態の管理、そしてツールの呼び出しなどを統制する「ハーネス（Harness）」と呼ばれる実行基盤が重要な役割を担ってい […]

研究論文の執筆後、ポスターや動画、ブログ記事を作成する作業に負担を感じたことはありませんか？このような研究発表の「ラストマイル」を自動化するシステムには、これまで3つの大きな課題がありました。 1つ目は成果物ごとに独立し […]

近年、LLMベースのエージェントは単なる受動的な質問応答から、自律的に環境を認識し、長期的なタスクを完遂するシステムへと移行しています。このような機能的要件を満たすため、現在のエージェントは「認知エンジン」である基盤モデ […]