3行でいうと

  • パラメータとは、AIが学習で身につけた、中にある大量の数値のことです。「7B」の「B」は10億なので、7Bは約70億個。数字は、その個数を表しています。
  • 「全体の個数」と「1回の計算で実際に使う個数」は別のことがあります。OpenAIのgpt-oss-120bは、全体が約1170億個、1つの言葉ごとに使うのは約51億個と書かれています。
  • パソコンで動かすなら、見るべきは個数よりもメモリの大きさです。同じモデルでも、数値の細かさ（精度）を変えると、必要なメモリが変わります。

この記事は、公式の文書を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。「見立てです。」で始まる段落と、たとえ話は僕らの考えで、公式の文書とは分けて書きました。数字は、2026年10月16日に読んだページのものです。

先に結論

公式の資料を読んで言えることは、次の4つです。

  1. パラメータは、学習で決まる数値です。 IBMの説明では、モデルが学習の中で身につける値です。OpenAIは、モデルの重み（パラメータ）は大量の数値だと説明しています。
  2. 「B」は10億です。 7Bは約70億個、70Bは約700億個、「4000億」は400Bです。（この換算は僕らの計算です。）
  3. 数字には「全体」と「使う分」があります。 MoE（後で説明します）というつくりでは、全体のうち一部だけを1回の計算で使います。
  4. 個数が多ければ必ず賢い、とは、読んだ資料に書かれていません。 IBMの説明は、多いと細かいパターンを捉えられる一方で、多すぎると、学習用のデータに合わせすぎて新しいデータに弱くなる（過学習）恐れがあると書いています。

たとえ話：ミキサーの、つまみの数

僕らのたとえです。公式の文書にあるものではありません。

音楽用のミキサーには、音量や高さを調節するつまみが、たくさんあります。つまみの位置の組み合わせが、出てくる音を決めます。AIのパラメータは、このつまみに似ています。学習とは、お手本の音（たくさんの文章）を聞きながら、つまみを少しずつ動かして、お手本に近い音が出る位置を探す作業です。

「70億パラメータ」とは、つまみが70億個あるミキサー、という意味です。つまみが多ければ、細かい音の違いを作れます。でも、つまみの数が多いだけでは、良い音は出ません。どの位置に合わせたか（学習の質）が大事です。また、つまみが多いミキサーは、大きくて重い（動かすのにメモリが要る）、という点も同じです。

パラメータとは何か

学習で決まる値

IBMの説明では、パラメータは、モデルが学習の中で身につける値です。代表的なのは「重み」と「バイアス」です。

もっとも単純な例が、直線の式「y = mx + b」です。mとbの2つが、学習で決まるパラメータです。大きな生成AIでは、これが数十億個になることがある、とIBMは書いています。OpenAIのヘルプも、パラメータは大量の数値で、学習の中で少しずつ調整されると説明しています。さらに、学習に使った文章そのもののコピーは、モデルの中に持っていない、とも書いています。

似た言葉「ハイパーパラメータ」との違い

IBMは、2つを分けています。パラメータは、モデルが学習の中で自分で見つける値です。ハイパーパラメータは、学習を始める前に、人が決める設定で、学習率（1回にどれだけ動かすか）や、学習を繰り返す回数などです。

数字の読み方：「全体」と「使う分」

ここが、いちばん間違えやすいところです。

MoE（混合エキスパート）という作り方

MoEは、モデルの中にたくさんの「専門家」役の部分（エキスパート）を用意して、1つの言葉を処理するたびに、一部だけを選んで使う作り方です。Mistral AIのMixtral 8x7Bの説明では、各層に8つのグループがあり、「ルーター」という選ぶ部分が、言葉ごとに2つを選びます。

その結果、次のような数字の違いが出ます。

モデル 全体のパラメータ数 1つの言葉ごとに使う数
Mixtral 8x7B（Mistral AI） 46.7B 12.9B
gpt-oss-120b（OpenAI） 117B 5.1B
gpt-oss-20b（OpenAI） 21B 3.6B

Mistral AIは、Mixtralの処理の速さと費用は、12.9B級のモデルに近い、と説明しています。名前の「8x7B」から56Bと思いたくなりますが、公式の数字は46.7Bです。なぜ56Bにならないかの説明は、読んだページにはありませんでした。

OpenAIは、gpt-oss-120bが80GBのGPU（画像処理用の部品）1枚に収まり、gpt-oss-20bは16GBのメモリで動く、と書いています。MoEは「処理に必要な有効パラメータを減らすため」の作りだと説明しています。

注意：「使う分」が少なくても、載せるのは全体

ここが落とし穴です。GoogleのGemmaの文書には、名前の読み方が書かれています。

つまり、速さは「使う分」で決まりやすく、メモリは「全体」で決まります。

必要なメモリは、個数と「数値の細かさ」で決まる

パソコンで動かすなら、個数よりメモリが問題になります。

Hugging Faceの説明（メモリの見積もりの道具のページ）の表を見ると、数値の細かさ（精度）を、32ビット、16ビット、8ビット、4ビットと半分にするたびに、必要な大きさが半分になっています。たとえば、約800億個のモデル（idefics-80b）の読み込みに必要な大きさは、32ビットで約297GB、16ビットで約149GB、8ビットで約74GB、4ビットで約37GBでした。このページは「半分になる」と規則としては書いておらず、表から読み取れることです。

細かさを落として小さくする方法を「量子化」と言います。gpt-oss-20bのモデルカードにも、重みの一部はこの方法（MXFP4）で作られていて、16GB以内で動く、と書かれています。量子化の種類の違いは、別の記事で扱っています。

GemmaとHugging Faceの数字（2026年10月16日に読んだ内容）

GoogleのGemma 4の文書にある、重みを読み込むのに必要なおよそのメモリです（20%の余裕を含む。会話の記憶（KVキャッシュ）と周辺のソフトは含まない。道具や環境で変わりうる、と書かれています）。

モデル 16ビット 8ビット 4ビット
E2B 11.4GB 5.7GB 2.9GB
E4B 17.9GB 8.9GB 4.5GB
12B 26.7GB 13.4GB 6.7GB
26B A4B 57.7GB 28.8GB 14.4GB
31B 69.9GB 34.9GB 17.5GB

僕らの概算です。1個あたり、16ビットなら2バイト、8ビットなら1バイト、4ビットなら0.5バイトとして12Bを計算すると、約24GB、12GB、6GBです。Gemmaの表の26.7GB、13.4GB、6.7GBとは近いですが、一致はしません。差の理由は、読んだ文書では確かめられていません。

Hugging Faceのページは、見積もりが測るのは「読み込み」の分で、実際に文章を作る（推論）ときには、さらに最大で約20%増えると書いています（EleutherAIを引いたもの）。

誤解されやすい点

「パラメータが多いほど賢い」 多いほど細かいパターンを捉えられる、と説明する資料はあります。しかし、読んだ資料に「多ければ必ず良い」とは書かれていません。IBMは、多すぎる場合の過学習の恐れも書いています。同じ個数でも、学習の質で結果は変わるはずです（見立てです）。

「パラメータ数は、どのAIでも公開されている」 OpenAIのヘルプ（ChatGPTやその土台のモデルの作り方の説明）には、自社モデルのパラメータ数は書かれていませんでした。ClaudeやGeminiについては、パラメータ数が公式に書かれているかどうか、僕らは探していないので分かりません。この記事で数字を読めたのは、gpt-oss、Mixtral、Gemmaの、重みが公開されているモデルでした（見立てですが、数字は公開されているものから確かめやすいと思います）。

今日からできること、やってはいけないこと

どれも、上の公式ページを土台にした、僕らの整理です。

今日からできること

やってはいけないこと

気をつけること

出典

更新履歴