因果探索で DAG は推定できるのか? PC・GES・DirectLiNGAM を比較して DoWhy で ATE まで求める
因果推論で介入の効果を求めるとき、出発点になるのが因果グラフ(DAG: Directed Acyclic Graph)です。どの変数がどの変数の原因になっているかが分かれば、バックドア基準で調整すべき変数が決まり、回帰分 […]
SHAPの「その先」へ:shapiq で Shapley 相互作用を試す
機械学習モデルの予測理由を説明する手法として、SHAP(Shapley 値)はすでに定番の道具になっています。表データを扱う現場で、ウォーターフォール図を一度も見たことがない人のほうが少ないかもしれません。 ただし Sh […]
MAPIEではじめるコンフォーマル予測入門
機械学習モデルを業務に組み込もうとすると、「この予測はどのくらい信用していいのか」を必ず聞かれます。売上予測が 120 だったとして、それが 100〜140 の間に収まりそうなのか、50〜190 くらいまで振れうるのかで […]
Tokenizer解体新書: BPEとUnigramの比較から迫るLLM性能の真実
LLMを開発していると、モデルの構造や学習データには注意を払っても、入口にあるトークナイザは「とりあえずBPE」で済ませてしまうことが少なくありません。BPE(Byte-Pair Encoding: バイト対符号化)とU […]
Deep-to-Shallow: Deep Neural Networks の効率的な高速化手法
Deep Neural Networks(DNN: 深層ニューラルネットワーク)は、画像認識や自然言語処理をはじめとする様々な分野で中核的な技術となっています。しかし、その高い表現力はモデルの深さと大きさに支えられており […]
Random Attention: KVキャッシュ削除により推論を加速させる
DeepSeek-R1 や Qwen3、Phi-4-reasoning といった推論特化型の大規模言語モデルは、難しい問題を解くために数万トークンにおよぶ思考連鎖(Chain of Thought: 思考の途中経過をテキ […]
AREX-Skill: GitHubリポジトリからAI研究を加速させる専門知識を蒸留する方法
自律的にコードを書き、実験を回し、結果を比較する「エージェント」が、機械学習研究の現場に入り込み始めています。もっとも、こうしたエージェントを実際に使ってみると、有名なライブラリの使い方を一つ間違えるだけで実験全体が無駄 […]
LLMERS: LLM強化型レコメンデーションシステムの全体像
大規模言語モデル(Large Language Model: LLM)に推薦結果を直接生成させると、1回の応答に数秒かかります。ミリ秒単位の応答が求められるレコメンデーションシステム(Recommender System […]
宇宙物理学における基盤モデル
近年、深層学習を大量のデータで一度事前学習し、それを多様なタスクに使い回す「基盤モデル(Foundation Model)」という言葉が、天文学のデータ解析でも目にする機会が増えています。ただし、Transformerを […]
宇宙物理学×深層学習:基礎アーキテクチャからAIエージェントまでを概観する
現代の天文学は、Vera C. Rubin天文台やRoman宇宙望遠鏡などに代表される次世代の観測サーベイの稼働により、かつてない規模のデータ主導型科学へと急激に移行しています。こうした膨大なデータを前にして、従来の解析 […]