Nested Learning: Deep Learning の新たなパラダイム
ChatGPTやGeminiをはじめとする大規模言語モデル(LLM)は、人間が書いたかのような自然な文章を生成し、複雑な質問にも答えるなど、驚異的な能力を見せています。しかし、その万能に見える能力の裏で、根本的な問題を抱 […]
コルモゴロフ・アーノルド・ネットワークのアーキテクチャ: 基礎と応用
長年にわたり、多層パーセプトロン(Multi-Layer Perceptron, MLP)は、回帰分析、関数近似、パターン認識といった様々なタスクで中心的な役割を果たしてきました。しかし、その一方で、MLPにはいくつかの […]
コンテキスト・エンジニアリング 2.0: 究極の知性へのロードマップと設計原則
近年、大規模言語モデル(LLM)とAIエージェントの急速な台頭により、システムにおける「コンテキスト」(文脈情報)の役割に大きな注目が集まっています。コンテキストウィンドウに配置された情報が、モデルの性能に著しく影響する […]
宇宙物理学における深層学習
現代の宇宙物理学は、GaiaやDESI、LSSTといった大規模な天文サーベイによって、ビッグデータの時代へと突入しました。数十年前の観測が数千のソースを扱っていたのに対し、現在では数十億もの天体の観測データが日常的に生成 […]
大規模言語モデルによる知識グラフ構築の最前線
知識グラフ(Knowledge Graphs, KG)は、構造化された知識を表現し、統合し、そして推論するための基盤となるインフラストラクチャとして機能します。意味検索や質問応答など、様々なアプリケーションの土台を支える […]
LLMの腐敗: 訓練データと推論能力の関係
大規模言語モデル(LLM)は、人間と同様の認知機能を獲得するため、インターネット上の膨大なデータから学習します。しかし、その訓練プロセスにおいて、人間社会で問題視されている「Brain Rot(脳の腐敗)」と類似の現象が […]
LLMLingua: LLMのためのプロンプト圧縮技術
昨今、大規模言語モデル(LLM)は、様々なアプリケーションで活用されています。LLMの能力を最大限に引き出すため、Chain-of-Thought (CoT) や In-Context Learning (ICL)、Re […]
LangCodeではじめるAIコードアシスタント入門
AIコードアシスタントは、コードの自動生成だけでなく、既存の複雑なコードベースの理解やタスクの自動実行を通じて、開発者の作業を大きく変えつつあります。今回は、最近リリースされた「LangCode」と呼ばれるツールを紹介し […]
機械学習モデルにおける不確実性
今日、機械学習モデルは、私たちの生活やビジネスのあらゆる側面に浸透しています。しかしながら、その高い予測精度とは裏腹に、モデルの信頼性や頑健性には依然として重大な課題が残されています。 実際、レベル5の自動運転車がカメラ […]
GPyTorch ではじめる深層ガウス過程入門
ガウス過程(GP: Gaussian Process)は、関数そのものに確率分布を定義するノンパラメトリックなモデルです。このモデルの最大の強みは、単なる予測値だけでなく、その不確実性(信頼区間)を定量的に示せる点にあり […]