Basics
仕組みと、数字の読み方
LLM、トークン、RAG、エージェント、MCP、量子化、ベンチマーク、ライセンス。用語をほどきます。
しくみ48 本
- 431Advanced推論時の計算を増やす方法は3種類に分けて考える：長く考える・何度も答えさせる・検証して選ぶ。効く場面と限界を、論文と公式文書で確かめる
- 430AdvancedMoE（混合エキスパート）は「計算は軽いが、メモリは軽くならない」：Mixtral・DeepSeek-V3・Llama 4の公式資料で、総パラメータと活性パラメータの差を確かめる
- 429Advanced資料を「丸ごと渡す」か「RAGで絞る」か：費用・精度・更新頻度の3軸で、Anthropic・OpenAI・Googleの公式資料から判断材料を確かめる
- 423AdvancedGPUをつなぐ「道の太さ」が、大きなモデルの学習と推論の速さを左右する：NVLink・InfiniBand・集団通信を、NVIDIA・vLLMの公式資料とMegatron-LMの論文で確かめる
- 419Advancedセマンティックキャッシュは「似た質問」に保存済みの答えを返す：プロンプトキャッシュとの違いと、しきい値・分け方・古さの落とし穴を、公式資料で確かめる
- 418Advanced合成データは「足りないデータを作る」道具だが、実データを捨てると崩れる：Nature論文・NIST・各社の資料で、利点とリスクを確かめる
- 323BeginnerGPUとは何か：AIの計算は「同じ計算を大量に」なので、並べて一度にこなす部品が向く。「高い部品」と言われる理由まで、公式資料で確かめる
- 322Beginner音声AIの2つの仕事：「聞いて文字にする」と「文字を読み上げる」。それぞれの仕組みと、間違いやすいところを、公式資料で確かめる
- 321Beginner画像生成AIは、どうやって絵を作るのか：「砂嵐から、少しずつ絵を取り出す」という説明を、公式の資料でやさしく確かめる
- 320BeginnerAIの得意分野の地図：文章・画像・音声・コードの4つで、AIに何を頼めるのかを、公式の説明で確かめる
- 319Beginner公開されているAIと、公開されていないAI：分かれ目は「重み」を手にできるか。何が自由になり、何は自由にならないかを、公式資料で確かめる
- 318Beginnerパラメータ数とは何か：「7B」「70B」「4000億」はAIの中の調整用の数字の個数。大きいほど賢いとは限らず、見るべきは「全体」「使う分」「必要なメモリ」の3つだと、公式資料で確かめる
- 317Beginnerモデル名の読み方：「GPT-6.1 Sol」「Claude Sonnet 5.5」「gemini-3.8-flash」は、系列・数字・段位に分けて読む。数字の大きさだけでは優劣が決まらないことを、公式資料で確かめる
- 316BeginnerChatGPTは検索しているのか：検索は「自動」でも「自分で指定」でも動き、見分ける手がかりは引用とSourcesだが、公式は「ない＝検索なし」とは書いていない
- 315BeginnerAIの「知識の期限」とは：各社の公式ページに書かれた期限の例と、期限より新しいことを聞くときの公式の考え方を確かめる
- 314BeginnerAIの「学習データ」とは：OpenAI・Anthropic・Googleの公式ページは、材料を「公開Web・提携先のデータ・ユーザーや人の作業・合成データ」の組み合わせと説明している
- 286Middle-levelChatGPTの広告は、AIの「答え」とどう分けられているのか：OpenAIの公式文書と、広告の表示ルールを並べて読む
- 283Middle-levelOpenAIの売上は700億ドルから500億ドルに減ったのか：「年間換算売上（ARR）」の数え方と、総額・純額の違いを、報道と会計の公式文書で確かめる
- 232Advanced画像は「パッチ」に切られてトークンになる：画像入力の仕組みと各社の計算式・上限を、公式資料で確かめる
- 231Advancedベンチマークの点数が意味を失うとき：試験問題が学習データに混ざる「汚染」を、論文と各社の発表で確かめる
- 228AdvancedAIの「速さ」の数字は4つに分けて読む：TTFT・ITL・1秒あたりのトークン数・同時処理を、公式資料で確かめる
- 222Advanced量子化の形式は「保存の仕方」と「計算の仕方」で分けると整理できる：GGUF・AWQ・GPTQ・FP8・FP4を、公式資料で確かめる
- 221AdvancedFlashAttentionは「計算のやり方」、GQAとMLAは「KVキャッシュの小ささ」を変える別々の工夫：各論文と公式文書で確かめる
- 220AdvancedPagedAttentionは、KVキャッシュを固定サイズの「ページ」に分けて持つ工夫。vLLMは無駄を減らし、同じGPUで多くの依頼をさばく：論文と公式文書で確かめる
- 219Advanced推論モデルは、答え合わせができる問題で強化学習をかけ、「考える文章」を長く育てて作る：DeepSeek-R1の論文とOpenAI・Anthropicの公式文書で確かめる
- 218Advanced「大きくすれば賢くなる」の根拠は、損失がべき乗則で下がるという実験の当てはめ。データの量・質・出所まで、原論文と公式のデータ方針で確かめる
- 217AdvancedLoRAは「元の重みを凍らせ、小さな差分の行列だけ」学習する。QLoRAは土台を4ビットにして、65Bの微調整を48GB未満に収めた：論文と公式文書で確かめる
- 216Advanced蒸留は「大きなモデルの答え方」を小さなモデルに写す学習法。他社のAIの出力でやると規約に触れうる：原論文と各社の規約で確かめる
- 215AdvancedAIが「答え方」を覚えるのは、事前学習のあとの事後学習：RLHFとDPOまでの流れを、論文とモデルカードで確かめる
- 214Advanced文章が長いほどAIが重くなるのは、アテンションが「全部の単語の組み合わせ」を見るから：長さの2乗の話を、論文で確かめる
- 202AdvancedAIにAIを採点させると、人間どうしと同じ程度には合う：順序・長さ・自己びいきの偏りも、論文で報告されている
- 195Advanced「100万トークン対応」でも、長くなるほど精度は落ちうる：針探し試験の読み方と、長文脈の研究を確かめる
- 193Advanced日本語は英語より多くのトークンを使いやすい：BPEの仕組みから、料金と上限への影響まで、公式資料と論文で確かめる
- 192Advanced温度・top_p・top_k は「ばらつき」の調整つまみ：新しい推論モデルでは、設定できない場合が多い
- 189Advancedツール呼び出しでは、AIは道具を自分で動かさない：往復するのは「呼びたい」という依頼と結果だけ、と公式資料で確かめる
- 151Advanced埋め込みとベクトル検索とは：言葉を「意味の地図の座標」に変えて、近いものを探す仕組みを、公式資料で確かめる
- 150Advanced音声合成・音声認識の仕組み：音を「周波数の絵」にして読み書きするAIを、公式資料で確かめる
- 149Advanced動画生成AIの仕組み：ノイズから「時間つきの絵」をまとめて取り出す方法と、いまできること・できないことを、公式資料で確かめる
- 148Advanced画像生成AIの仕組み：ノイズから絵を少しずつ取り出す「拡散モデル」を、公式資料で確かめる
- 147Middle-level推論モデルとは：答える前に、見えないところで「考える」時間を使うAIだと、公式資料で確かめる
- 146Beginnerマルチモーダルとは：文字だけでなく、画像・音声・動画も扱うAIだと、公式資料で確かめる
- 145Middle-levelMCPとは：AIと外の道具をつなぐ、共通の差込口の決まりだと、公式資料で確かめる
- 144BeginnerAIエージェントとは：答えるだけでなく、道具を使って自分で手順を進めるAIだと、公式資料で確かめる
- 143Advancedファインチューニングとは：AI本体に追加で例を教えて「癖」を変える方法と、プロンプト・RAGの違いを、公式資料で確かめる
- 142Middle-levelRAG（検索拡張生成）とは：資料を調べてから答える仕組みを、公式資料で確かめる
- 141Beginnerコンテキストウィンドウとは：AIが一度に見渡せる「作業机」の広さと、長い会話で起きることを、公式資料で確かめる
- 140Beginnerトークンとは：AIが文章を数える単位と、料金・上限とのつながりを、公式資料で確かめる
- 139BeginnerLLM（大規模言語モデル）とは：「次に来る言葉を当てる」仕組みで文章を作る、と公式資料で確かめる