Machine
マシンと環境を整える
メモリの選び方、家のAIサーバー、道具の地図、権限の渡し方。
運用3 本
手元で動かす4 本
- 277AdvancedAMD・Intel・QualcommでローカルAI:GPUはVulkanかHIPかSYCL、NPUはまだ道具ごとに対応がまちまち
- 272Advancedllama.cppは「1コマンドで入れて、1コマンドでAPIサーバーになる」:入手、サーバー、主なオプション、Ollamaとの違いを、公式資料で確かめる
- 266Middle-levelNVIDIAのWindows・Linuxで動かす:VRAMの量でモデルの大きさが決まる。ドライバーは新しめに、CUDAの導入は道具しだい
- 224AdvancedMLXは、Macの統一メモリを前提にしたAppleのフレームワーク:推論・量子化・微調整の守備範囲を、公式資料で確かめる