Tokenizer解体新書: BPEとUnigramの比較から迫るLLM性能の真実

LLMを開発していると、モデルの構造や学習データには注意を払っても、入口にあるトークナイザは「とりあえずBPE」で済ませてしまうことが少なくありません。BPE（Byte-Pair Encoding: バイト対符号化）とU […]

Physical AI の最前線: デジタルとハードを繋ぐ次世代アーキテクチャ

工場の溶接ロボットは、部品の位置が数センチずれただけで止まってしまいます。if-then のルールで動く従来型のロボットは、想定外の状況に弱いことが長く課題とされてきました。一方で、LLM（Large Language […]

Deep Neural Networks（DNN: 深層ニューラルネットワーク）は、画像認識や自然言語処理をはじめとする様々な分野で中核的な技術となっています。しかし、その高い表現力はモデルの深さと大きさに支えられており […]

Claude Code や Gemini CLI といったコマンドラインで動作するコーディングエージェントは、ファイルの読み書きや長時間にわたるセッションの維持をこなせるまでに実用段階に入ってきました。しかし、研究という […]

DeepSeek-R1 や Qwen3、Phi-4-reasoning といった推論特化型の大規模言語モデルは、難しい問題を解くために数万トークンにおよぶ思考連鎖（Chain of Thought: 思考の途中経過をテキ […]

自律的にコードを書き、実験を回し、結果を比較する「エージェント」が、機械学習研究の現場に入り込み始めています。もっとも、こうしたエージェントを実際に使ってみると、有名なライブラリの使い方を一つ間違えるだけで実験全体が無駄 […]

LLMエージェントを本番環境で運用し始めると、多くの開発者が共通の課題に直面します。温度パラメータ（temperature）を下げて同一の入力を与えた場合でも、実行ごとにツールの呼び出し順序や最終出力が微妙に変動してしま […]

大規模言語モデル（Large Language Model: LLM）に推薦結果を直接生成させると、1回の応答に数秒かかります。ミリ秒単位の応答が求められるレコメンデーションシステム（Recommender System […]

LLMエージェントがコーディングやデータ分析、長時間にわたるタスク遂行など、様々なベンチマークで高いスコアを記録するようになってきました。そうした中で「AIは自律的に科学研究を進められるのか」という問いは、研究の場だけで […]

LLM（大規模言語モデル）を使ったエージェントシステムの実運用が広がるにつれて、コストの観点から小型・安価なモデルをどう活用するかが現実的な課題になっています。大型モデルに匹敵する性能を小型モデルに持たせる代表的な方法は […]