3行でいうと
- モデルが載るかは、グラフィックカードのVRAMで決まります。目安は「ファイルの大きさ×1.2＋会話の記憶」です。
- OllamaはNVIDIAの計算能力5.0以上とドライバー550以上が条件です。Windowsは551.61以上です。
- vLLMはLinux向けで、Windowsで使うならWSL2です。計算能力7.5以上が必要です。
- 載らない分はCPU側に回り、遅くなります。Ollamaでは
ollama psで割合が見えます。
この記事は、実際に使って確かめた記録ではありません。この記事は公式の文書や論文を読んでまとめたものです。価格や在庫には触れません。製品の仕様は、2026年10月8日にNVIDIA公式ページで確認した内容です。
先に結論
見立てです。NVIDIAで動かすときは、次の順に決めると迷いません。
- 自分のカードのVRAMの量を確かめる。
- 使いたいモデルの「ファイルの大きさ」を見て、VRAMに収まるものを選ぶ（計算は下の節）。
- ドライバーを、使う道具の条件以上にする。
- 道具は、まずOllamaかLM Studioのように導入が簡単なものから。vLLMは、Linuxで複数人に配るなど、目的がはっきりしてから。
前提：用語
- VRAM：グラフィックカードの専用メモリ。モデルの本体をここに置くと速く動きます。パソコン本体のメモリ（RAM）とは別物です。
- ドライバー：OSとカードをつなぐソフト。AIの道具が使う計算の仕組みは、これを通してカードに届きます。
- CUDA：NVIDIAのカードで計算するための仕組み。道具の中に含まれていることが多く、自分で入れるものとは限りません。
- 計算能力（compute capability）：カードの世代を表す番号。5.0、7.5、8.9、12.0のように表します。
- オフロード：載りきらない部分を、VRAMの代わりにパソコン本体のメモリとCPUで処理すること。
公式の条件を並べる
| 道具 | NVIDIA側の条件 | OS | 出典で読んだ点 |
|---|---|---|---|
| Ollama | 計算能力5.0以上、ドライバー550以上。5.0〜6.2のカードは570以上 | Windows、Linux | GPU対応の文書 |
| Ollama（Windows） | ドライバー551.61以上。Windows 10 22H2以降 | Windows | Windowsの文書 |
| llama.cpp | ビルドにはCUDA Toolkitが必要とある。配布の実行ファイル（バイナリ）もある | Windows、Linux | READMEとビルドの文書 |
| vLLM | 計算能力7.5以上。CUDA 12.9のバイナリを含む | Linux。Windowsは直接非対応で、WSLを使う | インストールの文書 |
| LM Studio | Windowsは専用VRAM 4GB以上を推奨。RAMは16GB以上を推奨 | Windows、Linux | システム要件の文書 |
Ollamaの文書には、対応するカードの一覧があります。RTX 50シリーズ（計算能力12.0）、RTX 40シリーズ（8.9）、RTX 30シリーズ（8.6）のほか、古いGTX 750からのカードまで載っています。vLLMの条件のほうが厳しく、7.5以上（RTX 20シリーズ以降）です。
ドライバーとCUDAの関係
NVIDIAのCUDA Toolkitのリリースノートによると、2026年10月8日時点で最新はCUDA 13.4です。13.xの道具は、ドライバー580以上で動き（マイナーバージョン互換）、12.xは525以上580未満の範囲です。ただし、新しい機能は新しいドライバーが必要です。
僕らの読み取りです。Ollamaの文書が要求しているのはドライバーで、CUDA Toolkitを別に入れる指示は、読んだ範囲にありません。llama.cppを自分でビルドする場合だけ、CUDA Toolkitが必要になる、と読みました。配布のバイナリを使うなら、ドライバーを新しくすることが先です。
VRAMの量と、載るモデルの目安
NVIDIA公式ページで確認したカードのVRAMです（Founders Editionまたは基準の設計での値で、メーカーの製品では変わることがあります）。
| VRAM | NVIDIA公式ページで確認したカード |
|---|---|
| 8GB | RTX 5060（GDDR7）、RTX 5050（GDDR6）、RTX 5060 Ti（8GB版） |
| 12GB | RTX 5070 |
| 16GB | RTX 5060 Ti（16GB版）、RTX 5070 Ti、RTX 5080 |
| 24GB | RTX 4090（GDDR6X） |
| 32GB | RTX 5090 |
載るかどうかの計算
モデルを載せるには、本体のほかに、会話の記憶（KVキャッシュ）の分が要ります。会話が長いほど増えます。
僕らの計算です。目安として、次の式を使いました。
必要なVRAM ≒ ファイルの大きさ×1.2 ＋ KVキャッシュ
1.2は、Hugging Faceの文書がEleutherAIを引いて書く「推論時は最大で約20%の追加」にもとづく目安です。KVキャッシュは、Qwen3のconfig.json（公式の設定ファイル）の層数・KVヘッド数・ヘッド次元から出しました。計算の詳しい考え方は、別記事「GPUメモリの見積もり」にあります。
| モデル（Ollamaの配布ページのファイルの大きさ） | 会話4,096トークン | 会話32,768トークン |
|---|---|---|
| qwen3:8b（5.2GB） | 約6.8GB | 約11.1GB |
| qwen3:14b（9.3GB） | 約11.8GB | 約16.5GB |
| qwen3:32b（20GB） | 約25.1GB | 約32.6GB |
この表から読めることを、見立てとして書きます。
- 8GBのカード：8Bクラスの短い会話まで。
- 12GBのカード：14Bクラスの短い会話が、ぎりぎり。
- 16GBのカード：14Bクラスなら、中くらいの長さまで。
- 24GBのカード：32Bクラス（20GB）は、短い会話でも足りない計算。
- 32GBのカード：32Bクラスで、長い会話は足りない計算。
Ollamaの文書では、既定の文脈の長さがVRAMで変わります。24GiB未満は4k、24〜48GiBは32k、48GiB以上は256kです。文書は、コーディングやエージェントなどには、少なくとも64,000トークンを勧めています。長い文脈にすると、メモリも増えます。
Ollamaの配布ページに出ている、他のモデルのファイルの大きさです。KVキャッシュは計算していません。
| モデル | ファイルの大きさ（配布ページの表示） |
|---|---|
| gemma4:12b | 7.7GB〜8.0GB |
| gpt-oss:20b | 14GB |
| gemma4:26b | 16GB〜19GB |
| qwen3.8:27b | 18GB |
| qwen3:30b | 19GB |
| gemma4:31b | 19GB〜20GB |
| gpt-oss:120b | 65GB |
範囲で出ているものは、版（圧縮の違い）によって大きさが違います。
載らなかったらどうなるか
載らない分は、パソコン本体のメモリに回ります。これがオフロードです。動きますが、遅くなります。
- Ollama：
ollama psの「PROCESSOR」の列で、「100% GPU」か「48%/52% CPU/GPU」のように見えます。FAQの説明では、前者は全部GPUに載った状態、後者は両方に分かれた状態です。 - llama.cpp：
-ngl（GPUに置く層の数）の既定はauto、-fitの既定はonです。README上の説明では、メモリに収まるように、指定していない設定を調整します。 - 対策：会話の長さを下げる。KVキャッシュを小さくする（Ollamaは
OLLAMA_KV_CACHE_TYPEでq8_0にすると、f16の約半分のメモリで、精度の低下は小さいとFAQにあります）。もう少し小さい圧縮の版にする。
Ollamaで知っておくとよい設定
Ollamaの文書から、VRAMに関わる設定を挙げます。
OLLAMA_CONTEXT_LENGTH：会話の長さの上限。例はOLLAMA_CONTEXT_LENGTH=64000 ollama serve（公式文書の例です。この記事では、実行していません）。OLLAMA_FLASH_ATTENTION：会話が長いときのメモリを減らす仕組み。対応していれば自動で使うとFAQにあります。OLLAMA_KV_CACHE_TYPE：KVキャッシュの精度。Flash Attentionが有効なときに効く、とあります。全部のモデルに共通の設定です。OLLAMA_NUM_PARALLEL：同時に処理する要求の数。既定は1。必要なメモリは、この数と会話の長さの積で増えます。OLLAMA_MAX_LOADED_MODELS：同時にメモリに置くモデルの数。既定は、GPUの数の3倍。CUDA_VISIBLE_DEVICES：複数のカードのうち、使うものを選ぶ。CPUだけにしたいときは、無効な番号（-1など）を指定する、とGPUの文書にあります。
複数のカードがあるとき、FAQは「1枚に全部載るなら、その1枚に載せる」と説明しています。
Linuxでは、スリープから復帰するとGPUを見失い、CPUで動くことがある、とGPUの文書に書かれています。回避法として、nvidia_uvmを読み込み直す方法が載っています。
WindowsでWSL2を使うとき
vLLMなど、Linux向けの道具をWindowsで使うなら、WSL2（Windowsの中でLinuxを動かす仕組み）が道です。NVIDIAのWSL向けの文書は、WindowsにNVIDIAのドライバーを入れ、WSLの中にはドライバーを入れない、と書いています。Linux用のCUDA Toolkitを入れるときも、ドライバーを上書きしない「WSL-Ubuntu」版を使うよう勧めています。
つまずきやすい点
- VRAMが載る計算をしても動かない：会話の長さを上げすぎている。
- ドライバーが古い：Ollamaは550以上（Windowsは551.61以上）が条件。
- CPUで動いている：スリープ復帰後（Linux）、または古いドライバー。
ollama psで見る。 - vLLMがWindowsで入らない：直接は非対応。WSLを使う。
- 同じVRAMなのに載らない：他のアプリが画面表示に使っている分もある（見立てです）。
気をつけること
- この記事の表の数字は、実機で測ったものではありません。ファイルの大きさはOllamaの配布ページの表示、KVキャッシュは設定ファイルからの計算です。
- 「×1.2」は目安で、上限ではありません。道具や設定で変わります。Hugging Faceの文書は、この20%を、推論時に追加で見込めるとEleutherAIを引いて書いています。KVキャッシュを別に足す点は、僕らの組み立てです。
- Ollamaの配布ページのファイルの大きさは、GBとGiBのどちらかを、ページで確認できませんでした。
- カードの仕様はFounders Editionまたは基準の設計の値で、メーカーの製品は異なることがあります。価格や入手のしやすさは確認していません。
- RTX 4090（24GB）以外の40・30シリーズのVRAMは、NVIDIA公式ページでは確認していません。Ollamaの文書にはカード名の一覧があるだけです。
- CUDAやドライバーの版の数字は、新しい版が出ると変わります。最新は公式で確かめてください。
- vLLMの条件はmainブランチの文書です。版によって変わることがあります。
出典
- Hardware support（Ollama Docs、Ollama、2026年10月8日確認）
- Windows（Ollama Docs、Ollama、2026年10月8日確認）
- FAQ（Ollama Docs、Ollama、2026年10月8日確認）
- Context length（Ollama Docs、Ollama、2026年10月8日確認）
- qwen3（Ollama Library、Ollama、2026年10月8日確認）
- gemma4（Ollama Library、Ollama、2026年10月8日確認）
- qwen3.8（Ollama Library、Ollama、2026年10月8日確認）
- gpt-oss（Ollama Library、Ollama、2026年10月8日確認）
- Build llama.cpp locally（GitHub ggml-org/llama.cpp、2026年10月8日確認）
- llama.cpp README（GitHub ggml-org/llama.cpp、2026年10月8日確認）
- llama.cpp server README（GitHub ggml-org/llama.cpp、2026年10月8日確認）
- GPU installation（vLLM、vLLMプロジェクト、2026年10月8日確認）
- System Requirements（LM Studio Docs、LM Studio、2026年10月8日確認）
- CUDA Toolkit Release Notes（NVIDIA、2026年10月8日確認）
- CUDA Compatibility（NVIDIA、2026年10月8日確認）
- CUDA on WSL User Guide（NVIDIA、2026年10月8日確認）
- Compare GeForce Graphics Cards（NVIDIA、2026年10月8日確認）
- GeForce RTX 5060 Family（NVIDIA、2026年10月8日確認）
- GeForce RTX 5070 Family（NVIDIA、2026年10月8日確認）
- GeForce RTX 5080（NVIDIA、2026年10月8日確認）
- GeForce RTX 5090（NVIDIA、2026年10月8日確認）
- GeForce RTX 4090（NVIDIA、2026年10月8日確認）
- Qwen3-8B / 14B / 32B config.json（Hugging Face、Qwen、2026年10月8日確認）
- Model memory estimator（Hugging Face Accelerate Docs、Hugging Face、2026年10月8日確認）
更新履歴
- 2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した