3行でいうと

  • 考えるモード（答える前に出す下書きのような文章）は、ローカルではそのまま待ち時間になる。
  • Willison氏の測定（128GBのMac）では、標準で21分の課題が、思考オフで137秒だった。
  • 思考オフでは、絵の骨組みが歪むなど、難しい作業で質が落ちた。
  • 見立てでは、短く決まった作業はオフ、手戻りが大きい作業はオン。

「考えるモード」とは何か

最近のAIの多くは、答える前に、頭の中の下書きのような文章（思考）を出力します。これが思考モード（推論モード）です。Together AIの資料では、この下書きは「推論トークン」と呼ばれ、最終の答えとは別の欄に出ます。料金は、答えのトークンと同じ扱いで数えられます。

トークンは、AIが文章を扱う細かい単位のことです。ローカルで動かす場合、お金は取られません。そのかわり、思考のトークンも、一つずつ作るのに同じだけ時間がかかります。つまり、思考の長さが、そのまま待ち時間になります。

Qwen3.8-27Bで起きたこと

既存の記事では、Hack-Logの記事を挙げて「オフにすると処理が大きく短くなった報告がある」と書きました。出典を読み直したところ、この数字は、Hack-Logの筆者が測ったものではありませんでした。Hack-Logは、Simon Willison氏のブログ（2026年8月16日）の測定を紹介しており、自分のマシンでは確かめていない、と書いています。そこで、元の記事も読みました。以下は、その内容です。

条件は次のとおりです。

結果は、次の表のとおりです。

設定 思考のトークン 答えのトークン かかった時間
標準（reasoning_effortがxhigh） 22,276 3,223 21分
思考をオフ － 3,715 137秒

時間は、約9倍の差です（筆者の計算で、1,260秒÷137秒）。思考だけで、全体の約87％を占めています（筆者の計算で、22,276÷25,499）。

Qwen公式のHugging Faceのページでは、思考モードは標準でオンです。reasoning_effortという設定が3段階（xhigh、medium、low）あり、標準は最も重いxhighです。Willison氏はこの標準を「滑稽な初期値」と呼び、最初はlow、あるいは思考なしで使うことを強く勧めています。

見落とせないのが、品質の差です。Willison氏の記事によると、思考ありのペリカンは、これまでローカルで作った中で最良でした。思考なしでは、自転車の骨組みが歪み、足がペダルを外しました。バウンディングボックス（画像の中の物体を囲む枠）の課題では、思考なしだと、枠にずれのバグが出ました。一方で、「円を描いて」と頼んだだけなのに、思考ありは凝ったアニメ付きのSVGを作ったそうです。見た目は美しいが、頼んだものではなかった、ということです。

Hack-Logの記事は、速さの面を強調しています。品質が落ちたことも、元の記事には書いてあります。両方を知ったうえで、判断してください。

なお、LM Studioで「思考なし」をどう設定したかは、元の記事からは確認できませんでした。

モデルごとの切り替え方

出典で確認できた範囲で、表にします。

モデル 標準 切り替え方 注意
Qwen3.8-27B オン chat_template_kwargsの中でenable_thinkingをFalseにするとオフ。深さはreasoning_effortで、xhigh・medium・lowの3段階 オンとオフで、おすすめの設定値が違う
gpt-oss（20b・120b） 中（medium） システムプロンプトに「Reasoning: high」のように書く。低・中・高の3段階 オフの方法は、読んだ資料に書かれていない
Gemma 4 公式の説明では、<\|think\|>を入れたときだけ考える システム指示に<\|think\|>を入れるとオン。外すとオフ。enable_thinkingでも切り替えられる 大きい版は、オフでも考えることがある

Qwen3.8-27B

Qwen公式のページに、「標準で思考モード」と書かれています。思考は<think>と</think>の間に出ます。オフにするときは、リクエストごとに"chat_template_kwargs": {"enable_thinking": False}を渡します。

おすすめの設定値も、モードで違います。思考モードは、temperature 1.0、top_p 0.95、top_k 20です。思考なしは、temperature 0.7、top_p 0.80、top_k 20で、presence_penaltyは1.5です。オフにしたら、これも合わせたほうがよさそうです。

gpt-oss

OpenAIのモデルカード（Hugging Face）に、思考の量は、システムプロンプトで「Reasoning: high」のように指定する、とあります。低は「会話向けの速い応答」、中は「速さと詳しさの中間」、高は「深く詳しい分析」と説明されています。高は、そのぶん待ち時間が増えます。

Harmony（会話の書式）の資料では、標準は中です。思考（chain-of-thought）は、analysisという別の欄に出力されます。この思考は、安全面で最終の答えほど調整されていないので、利用者には見せないこと、とあります。

読んだ範囲では、思考を丸ごとオフにする方法は書かれていませんでした。Ollamaの資料でも、gpt-ossは"low"・"medium"・"high"の3つで、falseは「そのモデルが許すなら」の扱いです。

Gemma 4

Googleの公式資料では、システム指示に<|think|>という特別な印を入れると、思考がオンになります。印がなければ、オフです。Hugging Faceのカードによると、apply_chat_template()のenable_thinkingでも切り替えられます。思考は、<|channel>thoughtと<channel|>の間に出ます。

注意が2つあります。

  1. 大きい版（26B-A4Bと31B）は、オフにしても、思考の欄を出すことがある、と公式資料にあります。対策として、空の思考の印をプロンプトに足す方法が書かれています。
  2. 会話を続けるときは、前の回の思考を取り除いてから渡すのが決まりです。ただし、道具を呼び出す途中では、取り除きません。

LM Studioでは、1つのメッセージごとに「Think」のスイッチを使う、という利用者の報告があります。ただし、配布元によっては、このスイッチが出ないファイルがあります。ファイルを替えたら出ないことがあるので、気をつけてください。

オフにすると、何が良くて、何が悪いか

利点は、速さです。上のQwenの例では、9倍の差でした。

もう1つ、Gemma 4（12B、Ollama）で、思考をオンとオフで比べた個人の実験があります。13問（易しい問題から難しい問題まで）の結果です。

項目 オフ オン
正解数 12問 13問
1問あたりの平均時間 1.4秒 28.3秒
1問あたりの平均トークン 3 189

時間は約20倍、トークンは約63倍で、正解は1問しか違いません。ただし、これは1人の小さな実験で、問題は13問です。傾向を見る参考にとどめてください。

欠点は、難しい作業で質が落ちることです。Qwenのペリカンがそうでした。Gemma 4の実験でも、思考が助けたのは、その場で手順を組み立てる必要がある1問でした。

研究でも、似た指摘があります。MetaなどのOptimalThinkingBenchでは、思考するモデルが、易しい問題で無駄に長く考える（過剰思考）ことが示されました。33のモデルを調べて、多くが易しい問題で100トークン以上の思考を出し、1,300トークンを超えるものも多かった、とあります。逆に、思考しないモデルは、難しい問題で考え不足になります。どちらも解決したモデルはなかった、というのが結論です。

使い分けの目安

ここは見立てです。M6 Mac mini（32GB）で、この記事ではまだ確かめていません。

作業 目安
翻訳、要約、書式の整形、短い質問 オフ、またはlow
日常の文章の下書き、調べもの low〜medium
コードを書く、複数の手順の推論 medium、必要ならxhigh（オン）
画像から物体の位置を出すなど、正確さが要る作業 思考ありを先に試す

考え方は単純です。答えが短く決まっている作業は、オフにします。間違うと手戻りが大きい作業は、オンにします。まず軽く動かして、足りなければ上げる順がよさそうです。

ローカルでの待ち時間も、見ておきたい点です。たとえば、思考が2万トークンになったとします。毎秒15〜25トークンなら、約13〜22分です（筆者の計算で、仮の話です）。Splashでの27Bの速さ（毎秒25〜15トークン）を、前の記事から借りました。実際の長さは、課題で大きく変わります。

気をつけること

出典

更新履歴