AI BLOG / LEARNING MAP

生成AI・機械学習を、
仕組みから学ぶ。

基礎と応用を別々のページへ分けず、モデルの内側から本番の推論基盤までをひとつの地図にまとめました。気になる章から読んでも、01から順番に進んでも構いません。

CHAPTERS: 10
ARTICLES: 85

ONE COURSE, TEN CHAPTERS

すべてのテーマを、同じ見取り図で

各章には、概要だけでなく現在読める個別記事をすべて掲載しています。本番運用に集中していた領域は、信頼性運用、分散処理、推論基盤の3章へ分けました。記事が少ないFine-tuningは、次に重点的に拡充する章として明示しています。

LLMの仕組み

ニューラルネットワークの計算から、Token、Attention、次トークン生成までを順にたどる。

重み / 学習 / Transformer / 生成

19ARTICLES

01 ニューラルネットワークとは？AI・LLMを支える基本構造をゼロから理解する 02 活性化関数とは？ReLUをPythonで動かして「層を重ねる意味」を理解する 03 損失関数とは？予測の「外れ方」を数値にして学習につなぐ 04 重み・バイアスとは？ニューラルネットワークは何を学習しているのか 05 誤差逆伝播とは？二つの重みに損失の原因を振り分ける 06 勾配降下法とは？損失を見て重みを更新する最小の実験 07 埋め込みとは？トークンIDをLLMが計算できるベクトルへ変える 08 トークン化とは？LLMが文章を読む前に起きていること 09 因果マスクとは？LLMが学習中に未来の答えを見ない仕組み 10 次トークン予測とは？logitsから文章の続きを1つ選ぶまで 11 位置エンコーディングとは？同じ単語の並び順をTransformerへ伝える 12 Self-Attentionとは？3トークンの重みをPythonで計算する 13 KV Cacheとは？LLMが前のトークンを毎回計算し直さない仕組み 14 Temperatureとは？次トークンの選び方を確率で確かめる 15 Top-pとは？候補数を固定せずに次のトークンを選ぶ 16 LLMの事前学習とは？文章から「次のトークン」を教師信号にする 17 Multi-Head Attentionとは？同じ文脈を複数の重みで読む 18 Transformerの残差接続とLayerNormとは？Attentionの前後で何を足し、何を整えるのか 19 TransformerのFFNとは？Attentionの後で各トークンを変換する層

Prompt・Context

モデルへ何をどの順番で渡すか、例示と文脈の設計から考える。

Context Window / Few-shot / 指示

2ARTICLES

01 Context Windowとは？長い資料を渡せても、全部を同じように使えるとは限らない 02 Few-shot promptingとは？例を見せてもモデルの重みは変わらない

Embedding・RAG

外部資料を探し、必要な根拠を回答へつなぐ検索と評価を扱う。

Embedding / 検索 / RAG / 更新

5ARTICLES

01 RAGとは？検索した資料をLLMの回答へつなぐ仕組み 02 RAGの文書分割とは？検索で見つける単位と、回答に必要な文脈を両立する 03 RAGの検索をどう評価する？正解資料を見つけたかと、回答が正しいかを分けて測る 04 RAGの回答をどう評価する？正しさ・根拠との一致・答えられないときの振る舞い 05 RAGの文書を更新したら何を直す？古い断片・削除・閲覧権限を残さない運用

AI Agent

モデルが道具を選び、状態を持ち、複数の処理を進める仕組みを分解する。

Tool Calling / 状態 / MCP / 分業

5ARTICLES

01 AIエージェントとは？道具を呼び、結果を受け取り、次の操作を決める仕組み 02 Tool Callingの道具をどう設計する？名前・入力・結果・失敗を曖昧にしない 03 AIエージェントの状態をどう持つ？会話履歴・作業記録・チェックポイントを分ける 04 マルチエージェントはいつ必要？分業で速くなる仕事と複雑になる仕事を見分ける 05 MCPとは？AIエージェントと外部の道具・データをつなぐ共通プロトコル

Fine-tuning・学習調整

NEXT FOCUS

事前学習済みモデルを目的へ合わせる方法と、調整すべき条件を整理する。

SFT / LoRA / DPO / データ設計

1ARTICLES

01 Instruction Tuningとは？文章の続きを書くモデルを「指示に応じる」モデルへ近づける

COMING NEXT SFT、LoRA、DPO、学習データ設計の記事を優先して追加します。

LLM評価

回答、実行過程、評価データを分け、公開前後の品質を測る。

Evals / Judge / データセット / オンライン評価

4ARTICLES

01 AIエージェントをどう評価する？最終回答だけでなく道具の選択と実行過程を見る 02 LLM-as-a-Judgeとは？生成文をモデルで採点するときの基準と偏り 03 LLMの評価データセットをどう作る？実例・境界例・失敗例を同じ基準で測る 04 LLMのオフライン評価とオンライン評価は何が違う？公開前テストと本番データをつなぐ

Safety・権限設計

危険な入力や出力、過剰な権限、データ漏えいを層ごとに防ぐ。

Guardrails / Injection / Privacy / Authorization

7ARTICLES

01 AIエージェントのガードレールとは？入力検査・権限制限・人の承認を重ねる 02 LLMのレッドチーミングとは？公開前に悪用・誤操作・情報漏えいを探す 03 LLMアプリに何を保存する？会話・ログ・評価データのプライバシー設計 04 AIエージェントのサンドボックスとは？生成コードを本番環境から隔離する 05 LLMアプリのAPIキーをどう守る？ブラウザへ置かず最小権限で回す 06 プロンプトインジェクションとは？外部文書を命令として実行しない設計 07 AIエージェントの権限設計とは？道具を使えることと実行してよいことを分ける

信頼性・本番運用

SLO、監視、障害対応、費用をつなぎ、サービスを継続的に守る。

SLO / Observability / Incident / Cost

16ARTICLES

01 AIエージェントを本番運用するには？タイムアウト・再試行・上限を先に決める 02 AIエージェントの変更を安全に出すには？モデル・プロンプト・道具を版管理する 03 LLMアプリのドリフトとは？入力・知識・評価基準の変化を見逃さない 04 LLMアプリで事故が起きたら？止める・調べる・再発を防ぐ手順 05 LLMのバッチ処理と非同期処理とは？待てる仕事を安く安全に流す 06 LLMのモデルルーティングとは？小さいモデルと高性能モデルを安全に使い分ける 07 プロンプトキャッシュとは？KV Cacheとの違いと効かない原因を整理する 08 LLMアプリのSLOとは？速さ・成功・品質を一つの稼働率に混ぜない 09 LLMアプリの費用をどう測る？トークン数から成功一件当たりの原価まで 10 LLMアプリの可観測性とは？ログ・メトリクス・トレースで失敗箇所をつなぐ 11 LLMのストリーミングとは？速く感じる仕組みと途中表示の落とし穴 12 LLMアプリの負荷試験とは？リクエスト数ではなくトークンと処理経路で限界を測る 13 LLMアプリの縮退運転とは？障害時に機能を減らして中核を守る 14 AIエージェントの補償処理とは？途中まで進んだ外部操作を安全に戻す 15 AIエージェントの並行実行をどう制御する？同じ対象への更新競合を防ぐ 16 AIエージェントの冪等性とは？再試行しても二重送信・二重登録を起こさない

分散処理・イベント設計

非同期処理や再実行で起きる順序、重複、部分成功を安全に扱う。

Queue / Event / Idempotency / Recovery

5ARTICLES

01 Transactional Outboxとは？記録と通知の間で消える処理を防ぐ 02 Dead-letter queueとは？処理できないイベントを隔離して安全に戻す 03 イベントリプレイを安全に行うには？過去データの再処理で副作用を繰り返さない 04 イベントスキーマをどう変更する？古いAIエージェントを壊さない互換性設計 05 Hedged Requestとは？遅いAI APIを複製するときの条件と危険

推論基盤・GPU最適化

LLM推論をGPUへ配置し、メモリ、通信、待ち時間を測って改善する。

Batching / KV Cache / Parallelism / GPU

21ARTICLES

01 Continuous Batchingとは？長さの違うLLMリクエストをGPUで効率よく処理する 02 LLM Autoscalingとは？CPU使用率だけでGPU workerを増減しない 03 Scale to Zeroとは？LLM推論のGPU費用と初回待ち時間をどう両立する 04 Chunked Prefillとは？長いプロンプトでLLMの生成を止めない仕組み 05 KV Cache Offloadingとは？GPUからCPU・SSDへ退避する条件 06 KV Cache量子化とは？FP8でLLMの同時実行数を増やす前に測ること 07 PagedAttentionとは？LLMのKV Cacheをblock単位で管理する 08 Prefill・Decode分離とは？LLM推論を二つのGPUプールで処理する理由 09 Expert Parallelismとは？MoEモデルでtokenをGPU間に振り分ける仕組み 10 LLM推論のTensor・Pipeline・Data Parallelismとは？GPUの増やし方を分けて考える 11 Speculative Decodingとは？小さなモデルの予測をLLMがまとめて検証する 12 Context Parallelismとは？長いpromptを複数GPUへ分ける仕組み 13 GPU Health Checkとは？ECC・Xid・温度異常からLLM推論を守る 14 GPU Topologyとは？NVLink・PCIe・NUMAを見てLLM推論を配置する 15 All-Reduce・All-Gather・All-to-Allとは？LLM分散推論のGPU通信を整理する 16 CUDA Graphsとは？LLM推論のkernel起動 overheadを減らす仕組み 17 CUDA MPSとは？複数のLLM推論processでGPUを共有する仕組み 18 Kernel Fusionとは？LLM推論でGPU memory往復と起動回数を減らす 19 MIGとは？1枚のGPUを分割してLLM推論を動かす前に知ること 20 Roofline Modelとは？LLM推論が計算とmemoryのどちらで詰まるか見分ける 21 GPU Profilingとは？LLM推論の遅さをtimelineとkernelから切り分ける

EDITORIAL POLICY

記事数ではなく、学習経路を育てる

一次情報や公式ドキュメントを確認し、コードは小さく実行可能な例を中心にします。今後は記事数の少ない章を優先し、特にFine-tuning・学習調整を基礎から順に増やします。