Next Token
Parallel World
コラム
▾
コラム一覧
AKIRAの予測
本
IT記事
▾
AIはじめの一歩
IT記事一覧
用語集
ガジェット
実際に使っているもの
AIサービス大全
ハードとソフト
年表
おうちカフェ
note ↗
IT Journal
LoRAは「元の重みを凍らせ、小さな差分の行列だけ」学習する。QLoRAは土台を4ビットにして、65Bの微調整を48GB未満に収めた：論文と公式文書で確かめる
2026.10.08
約1分
仕組み
Advanced
公式資料を確認した日 2026.10.08
あわせて読みたい
216
Advanced
蒸留は「大きなモデルの答え方」を小さなモデルに写す学習法。他社のAIの出力でやると規約に触れうる：原論文と各社の規約で確かめる
2026.10.08
218
Advanced
「大きくすれば賢くなる」の根拠は、損失がべき乗則で下がるという実験の当てはめ。データの量・質・出所まで、原論文と公式のデータ方針で確かめる
2026.10.08
215
Advanced
AIが「答え方」を覚えるのは、事前学習のあとの事後学習：RLHFとDPOまでの流れを、論文とモデルカードで確かめる
2026.10.08
219
Advanced
推論モデルは、答え合わせができる問題で強化学習をかけ、「考える文章」を長く育てて作る：DeepSeek-R1の論文とOpenAI・Anthropicの公式文書で確かめる
2026.10.08
214
Advanced
文章が長いほどAIが重くなるのは、アテンションが「全部の単語の組み合わせ」を見るから：長さの2乗の話を、論文で確かめる
2026.10.08
この記事は、AIが公開情報を調べて下書きし、Akiraが確認して公開しています。事実と見立ては分けて書いています。間違いに気づいたらお知らせください。
← 前の記事
蒸留は「大きなモデルの答え方」を小さなモデルに写す学習法。他社のAIの出力でやると規約に触れうる：原論文と各社の規約で確かめる
次の記事 →
「大きくすれば賢くなる」の根拠は、損失がべき乗則で下がるという実験の当てはめ。データの量・質・出所まで、原論文と公式のデータ方針で確かめる
