機械学習における分布シフト(分布外データ)への対応
機械学習(ML)モデル、特に深層ニューラルネットワーク(DNN)は、コンピュータービジョンや自然言語処理といった多岐にわたる分野で、これまでにない成功を収めています。これらのモデルは通常、i.i.d.(独立同分布)という […]
TruthTorchLMによるLLMのハルシネーション検出
大規模言語モデル(LLM)の目覚ましい進化は生活やビジネスに革新をもたらす一方で、事実に基づかない情報を生成するハルシネーションが問題となっています。特に医療や金融といった高リスクな分野では、LLM出力の信頼性と正確性が […]
コンテキスト・エンジニアリングの現状と未来
近年、大規模言語モデル(LLM)の進化は目覚ましく、その性能は提供される「コンテキスト(文脈情報)」によって根本的に左右されます。これまで、LLMの能力向上においては「プロンプト・エンジニアリング」と呼ばれる、より良い指 […]
UnslothではじめるLLMのFine-tuning
大規模言語モデル(LLM)を特定のタスクやドメインに特化させる「ファインチューニング」。その可能性に多くの開発者が惹きつけられる一方で、「膨大な計算コストがかかる」「高性能なGPUがなければ手も足も出ない」といった高いハ […]
LLMのハルシネーションはなぜ避けられないのか?
近年、ChatGPTやLlamaといった大規模言語モデル(LLM)は目覚ましい発展を遂げ、自然言語処理を中心として研究、産業、社会に大きな影響を与えています。しかし、その一方で、「ハルシネーション」(幻覚)と呼ばれる、も […]
プロンプトエンジニアリングの限界-コンテキストエンジニアリングとは?
近年、AIのビジネス活用が急速に進み、特に大規模言語モデル(LLM)は、その多様な能力で企業の業務効率化や新たな価値創造に貢献しています。AIの性能を最大限に引き出すための技術として、これまでプロンプトエンジニアリング、 […]
ローカルLLMはソフトウェア開発に活用できるのか?
近年、大規模言語モデル(LLM)の進化は目覚ましく、多くの分野でその活用が期待されています。しかし、その強力な性能を享受するには、クラウドベースでの運用が主流であり、API利用コストや外部APIへソースコードを送信するこ […]
LLM入門者必見!50の質問で学ぶ大規模言語モデルの基礎知識
AI、特に大規模言語モデル(LLM)の分野では、日々新しい技術やフレームワークが発表され、その進化は留まるところを知りません。最近、このLLMの中心的な概念をQ&A形式でまとめた「Top 50 Large Lan […]
LLMのハルシネーション検出のための不確実性定量化
近年、大規模言語モデル(LLM)は、文章作成、翻訳、質疑応答など、私たちの生活や仕事における様々なタスクでその能力を発揮し、急速に普及しています。その利便性の一方で、LLMには「ハルシネーション(幻覚)」と呼ばれる、事実 […]
LangChain×ローカルLLMで試すText-to-SQL入門
「あのデータが見たいけど、SQLなんて書けない…」そんな悩みを抱えていませんか?日々増え続ける膨大なデータの中から必要な情報を引き出すスキルは、現代のビジネスにおいてますます重要になっています。しかし、専門知識であるSQ […]