3行でいうと

  • Inco AIの「Splash」で、Apple siliconのMacでもQwen3.8-27Bがおよそ2倍の速さで動くとされる。
  • 公式の測定はM5 Pro・メモリ48GBで毎秒74トークン。「毎秒144」は別のモデルの数字だった。
  • メモリ32GBのM6 Mac miniでも、毎秒25から15トークンで動いた実例がある。
  • 会話の長さを大きくしすぎると、読み込みでエラーになる。

家庭のパソコンで動かせるAIが、また一段速くなりました。きっかけは、Inco AIが公開した「Splash（スプラッシュ）」という推論エンジンです。Apple siliconのMacで、Qwen3.8-27Bをおよそ2倍の速さで動かせるとされています。

ただ、ネットでは数字が一人歩きしています。ここでは、公式の資料と、それを確かめた記事をもとに、数字を整理しました。

Splashとは

Splashは、Inco AIが公開したオープンソースの推論エンジンです。クラウドを使わず、自分のMacの中でAIを動かすためのものです。ライセンスはApache-2.0です。

動かせるのは、いまのところQwen3.8-27BとQwen3.6-35B-A3Bの2つです。モデルごとに専用の高速化を入れているのが特徴で、Qwen3.8-27B用のパッケージは約17.4GBです。内訳は、4ビットに圧縮した本体が14.1GiB（約15GB）、高速化用の小さな補助モデルが1.2GB、画像を読むための部品が0.9GBなどです。

数字を正しく読む

公式の測定は、M5 Pro（GPU 16コア、メモリ48GB）で行われたものです。

条件 速さ 比較
短い入力で文章を作る 毎秒74トークン 次に速いエンジンの約2倍
32Kトークンの長い入力 毎秒54トークン －
4件を同時に処理 合計で毎秒170トークン 次点の約3.9倍

「Mac上でQwen3.8-27Bが毎秒144トークン」という数字も出回りましたが、これは別のモデルの数字でした。毎秒143トークンは、Qwen3.6-35B-A3Bの測定値です。27Bの速さと取り違えて広まった、と指摘されています。

また、32Kの入力での比較では、27BはOllamaの約2.8倍、oMLXの約1.9倍とされています。倍率は、何と比べるかで変わります。数字を見るときは、モデル、パソコン、入力の長さ、比べた相手の4つをそろえて読むのが大事です。

動かすための条件

公式の資料では、条件は次のとおりです。

ただし、これは公式が測定した環境の条件です。メモリ32GBのMacで動かした実例が、すでに出ています（次の節）。

メモリ32GBのM6 Mac miniで動かした例

YouTubeの「ふじもった」さんが、9月26日に、M6 Mac mini（メモリ32GB）で試した動画を公開しています。動画の中の数字を、整理します。

条件 速さ（毎秒）
これまでのMLX（短い入力） 10〜12トークン
これまでのMLX（文脈が長くなったとき） 6〜7トークン
Splash（出だし） 約25トークン
Splash（7万トークンほど溜まった状態） 約15トークン

「次に速かったエンジンの約2倍」と話していました。公式がM5 Pro・48GBで出した毎秒74とは機械が違うので、並べて比べるものではありません。32GBのM6 Mac miniでは、毎秒25から15あたり、というのが現実的な目安です。

動画から分かった注意点が、2つあります。

  • 会話の長さ（コンテキスト）を大きくしすぎると、読み込みの時にエラーになります。メモリに、記憶の置き場所（KVキャッシュ）が取れなくなるためです。18万トークンなら読み込めたそうです。さらに長い文脈を使うなら、M5 Pro以上の、メモリの大きな機種が必要になる、との説明でした。
  • 処理中の消費電力は30〜40W、温度は約88℃でした。

なお、これは動画の自動字幕から読み取った内容です。細かい言い回しや数字は、動画で確かめてください。

動かし方

動かし方は2通りあります。

ひとつ目は、LM Studioを使う方法です。いちばん簡単で、動画でもこの方法でした。

  1. LM Studioの設定画面を開き、Shift＋⌘＋Rを押します。
  2. 「Runtime」の中の「Engines & Frameworks」にある「Splash (Metal)」を、ダウンロードします。
  3. モデル検索で「Inco AI」と入れ、フォーマットを「Splash」に切り替えます。
  4. 出てきた「Qwen3.8 27B」のSplash版をダウンロードして、読み込みます。このとき、文脈の長さを大きくしすぎないでください。

ふたつ目は、Splash本体を使う方法です。Homebrewで入れて、サーバーを起動します。

brew install incoai/tap/splash
splash serve --model incoai/Qwen3.8-27B-Splash

サーバーはパソコンの中（127.0.0.1の8000番）で立ち上がります。OpenAIとAnthropicの両方のAPI形式に対応しているので、普段使っているツールをつなげやすい作りです。

Mac以外では

Macではなく、NVIDIAのGPUで動かした例もあります。PC Watchの西川和久さんは、DGX Spark互換機でvLLMを使い、FP8版で毎秒12トークンを出しました。公開は8月18日で、その後、SGLangの最適化で毎秒30トークン近くが報告されたと追記されています。Macの数字とは、機械も条件も違います。

ここから先は、僕らの見立て

事実ではなく、見立てです。

家庭のパソコンで動くAIは、「動くか、動かないか」の時代から、「どれだけ快適に動くか」の時代に入りました。公式は36GBを条件にしていますが、32GBのM6 Mac miniでも、文脈の長さを控えめにすれば、毎秒15〜25トークンで動いた例があります。32GBは、ぎりぎり使える線、と見ています。

数字は、公式の測定も動画の実例も、他人の環境のものです。Akira自身の機械での記録は、確かめられ次第、このページに追記します。

出典