ローカルAI用のマシンの選び方：メモリの量と帯域で決まる

家庭でAIを動かすマシンは、ここ1年で選択肢が増えました。ただ、スペック表の数字が多くて、何を見ればいいのか迷います。この記事では、製品の紹介は最小限にして、見るべき数字を2つに絞って説明します。最後に、「いくら出せば何が動くか」の表もあります。

見る数字は、たった2つ

ローカルAIを動かすとき、見るべきなのは次の2つです。

1. メモリの量：どれくらい大きなモデルが「載るか」を決めます。
2. メモリ帯域：載ったモデルが「どれくらい速く文章を書くか」を決めます。

メモリ帯域とは、1秒間にメモリから読み出せるデータの量です。単位はGB/s（毎秒ギガバイト）で、太いほど速くなります。水道にたとえるなら、メモリの量はタンクの大きさ、帯域は蛇口の太さです。

CPUやGPUの計算の速さも大事ですが、AIが文章を1語ずつ書いていく場面では、主役ではありません。ある解説は、1語を書くたびにモデルの重み（AIの中身の数字）を、ほぼ全部メモリから読み出す必要がある、と説明しています。計算そのものは速く、待っているのはデータの到着です。

載るかどうかは、メモリの量で決まる

モデルのファイルの大きさは、おおよそ「パラメータ数 × 1個あたりのバイト数」です。4ビットに圧縮（量子化）した27B（270億パラメータ）のモデルは、前の記事で見たとおり約15GBです。ある解説の表では、4ビット量子化の目安は、9Bで5.7GB、27Bで16.5GB、32Bで19.8GB、70Bで42.5GBです。

ただし、モデル本体だけでは足りません。会話の長さに応じて増える作業用メモリ（KVキャッシュ）と、OSの分も要ります。同じ解説によると、文脈が4Kトークンなら作業用メモリは誤差ですが、128Kトークンではモデル本体を超えることがあります。32GBのMac miniで、OSの分を引いて使えるのは約29GBという見積もりが一つあります。前の記事で紹介した別の解説は約24GBでした。解説によって幅があります。

載らない場合は、遅いメモリや保存装置にあふれるか、そもそも読み込めません。迷ったら、載せたいモデルの本体サイズに、数GBから十数GBの余裕を足して選んでください。

速さは、メモリ帯域で決まる

文章を書く速さの上限は、おおよそ次の式で表せます。

速さの上限（トークン／秒）＝ メモリ帯域 ÷ 1語ごとに読むデータの量

これは、ある速度計算ツールの解説にある考え方です。実際の速さは、上限の60〜90%程度になるそうです。この式は、プロンプトを読み込む処理（長い文章を最初に食べる段階）には当てはまりません。そちらは計算の速さが効きます。

式を、実測と照らしてみます。M6 Mac miniの32GB版では、独立した測定で、実際の帯域は毎秒143〜144GB程度でした。9Bの4ビットモデルを動かして、毎秒26.9トークンが出ています（MindStudioの測定）。式で見ると、143÷5.7＝約25です。筆者の計算ですが、実測に近い値です。

専門家向けの補足を一つ。MoE（混合専門家）というタイプのモデルは、全体は大きくても、1語ごとに使う部分が一部なので、読むデータの量は小さくなります。その分、同じ帯域でも速く動きます。

統合メモリとVRAMの違い

メモリの置き方には、2つの流儀があります。

VRAM（GPU専用のメモリ）：NVIDIAのGPUカードに載っています。帯域はとても太い一方、量は少なめです。モデルがここに収まらないと、遅くなります。

統合メモリ：CPUとGPUが、1つの大きなメモリを分け合います。Appleシリコン、DGX Spark、Ryzen AI Max+がこの形です。帯域はGPUカードより細いのですが、量を大きくできます。

統合メモリでも、全部をGPUが使えるわけではありません。AMDのRyzen AI Max+ 395は、メモリを、GPUに割り当てる量を設定できます。ある報道では、32GB機で24GB、64GB機で48GB、128GB機で96GBまでです。