Context Language Models: コンテキストを直接編集・自己管理するLLMの次世代アーキテクチャ

数十時間にわたって動き続けるAIエージェントを運用していると、精度以前にコンテキストの肥大化という壁にぶつかることがあります。検索結果やツール呼び出しのログ、過去のやり取りが際限なく積み上がり、コンテキストウィンドウの上 […]

JEV-as-a-Judge: 低コスト・高精度なLLM評価の最適戦略

LLMの出力をLLM自身に採点させる「LLM-as-a-Judge」は、プロンプト改善、RAGの検索・生成パイプラインのチューニング、社内ファインチューニング用のデータ選別など、開発サイクルにかなり定着しています。とこ […]

LLMを開発していると、モデルの構造や学習データには注意を払っても、入口にあるトークナイザは「とりあえずBPE」で済ませてしまうことが少なくありません。BPE（Byte-Pair Encoding: バイト対符号化）とU […]

Deep Neural Networks（DNN: 深層ニューラルネットワーク）は、画像認識や自然言語処理をはじめとする様々な分野で中核的な技術となっています。しかし、その高い表現力はモデルの深さと大きさに支えられており […]

DeepSeek-R1 や Qwen3、Phi-4-reasoning といった推論特化型の大規模言語モデルは、難しい問題を解くために数万トークンにおよぶ思考連鎖（Chain of Thought: 思考の途中経過をテキ […]

近年、深層学習を大量のデータで一度事前学習し、それを多様なタスクに使い回す「基盤モデル（Foundation Model）」という言葉が、天文学のデータ解析でも目にする機会が増えています。ただし、Transformerを […]

大規模言語モデル（LLM）をチャットボットや対話型エージェントとして、単発かつ低同時接続で動かす場面では、生成速度が伸びずにもどかしさを感じることがあります。この種のワークロードでは、モデルの重みや会話履歴のキャッシュを […]

監視カメラや車載カメラの多くは魚眼レンズや広角レンズを採用しており、ドローンや360度カメラの映像を解析する場面も珍しくなくなっています。加えて、ゲーム実況やeスポーツ分析の現場では、実写ではなくゲームエンジンがレンダリ […]

AIエージェントが自律的に計画し行動する場面が増えるにつれ、次に世界がどう変化するかを予測する「世界モデル（World Model）」への関心が高まっています。しかし、従来の世界モデルは物体の位置や形状、動きといった物理 […]

現代の天文学は、Vera C. Rubin天文台やRoman宇宙望遠鏡などに代表される次世代の観測サーベイの稼働により、かつてない規模のデータ主導型科学へと急激に移行しています。こうした膨大なデータを前にして、従来の解析 […]