海外のモデルに日本語を足す：SwallowとELYZA-JPの作り方と、気をつける点

3行でいうと

SwallowとELYZAは、海外のモデルを土台に日本語を追加学習する作り方。土台のライセンスの条件が引き継がれる。
Qwen3-SwallowはQwen3が土台でApache 2.0。Llama系は、表示の義務や出力の使い道などの条件が増える。
ベンチマークの数字はほとんどが自社の測定で、独立した第三者の比較は見つからなかった。
32GBのMacに載るかは計算上の話。Swallowの公式の小型版（16.8GB）はGPUサーバー向けで、Macには別の形式が要る。

前の記事で書いたとおり、国産モデルには「海外のモデルに日本語を足す」作り方があります。この流派の代表が、東京科学大学・産総研のSwallowと、KDDI傘下のELYZAです。何を土台にして、何をしたのかを見ていきます。

まず基本：どちらも「土台」がある

この記事では、土台のモデルを「ベース」と呼びます。ベースは、すでに文章を読み書きできるように学習されたモデルです。そこに、日本語のデータで追加の学習をします。

追加学習には、大きく2種類があります。

継続事前学習。 ベースに、日本語の文章を大量に読ませ続けます。日本語の知識と言い回しを増やす作業です。
指示チューニング。 「質問に答える」「指示に従う」といった、会話の型を教えます。

Swallowは、この流れを一貫して公開してきました。2023年12月19日の東京科学大学（当時は東京工業大学）の発表では、Meta社のLlama 2に、日本語のウェブ文章を混ぜて学習させたと説明されています。日本語と英語は9対1の割合でした。Llama 2は、事前学習のうち日本語が約0.10%しかなかったそうです。7B・13B・70Bの3つの大きさで出ました。

Swallowの現在：Qwen3-Swallow

2026年2月20日に、SwallowはQwen3-SwallowとGPT-OSS Swallowを公開しました。以下は、公式ページとモデルカード、報道で確認できた範囲です。

項目	内容
ベース	Alibabaが公開したQwen3（8B、30B-A3B、32Bの3つ）
学習の3段階	継続事前学習、指示チューニング（SFT）、検証できる報酬による強化学習（RLVR）
ライセンス	Apache 2.0
量子化版	AWQ-INT4版あり（公式）

30B-A3Bのモデルカードによると、継続事前学習は約2097億トークンです。トークンは、文章を刻んだ単位です。指示チューニングは、約110万件のサンプルです。強化学習には、AI2が公開している数学のデータが使われています。継続事前学習のデータは、日本語版Wikipedia、Swallowコーパス、英語データ、数学・コードのデータなどです。なお、公式ページには「2000億トークン」と丸めた書き方もあり、細かい数字は資料ごとに違います。

土台のQwen3-30B-A3Bは、36兆トークンで事前学習されたと、Qwen側のモデルカードにあります。2097億は、その約0.6%にあたります（筆者の計算です）。追加で読ませる量は、土台の学習に比べて、かなり小さい。ここが、この流派の「少ない費用」の中身です。ただし、実際の計算費用の金額は、僕らは確認できていません。

もう1つ、公式のモデルカードには、GPTQ版を作ったが性能が落ちたため非公開にした、という記述があります。量子化で性能が落ちる例として、参考になります。

ELYZA：LlamaからQwenへ、土台が変わっている

ELYZAは、2024年4月にKDDIの子会社になった企業です。LLMの開発と提供を続けています。

2024年6月：Llama 3ベースのELYZA-JP。 2024年6月26日に、ELYZAはMetaのLlama 3をもとにした日本語モデルを発表しました。ELYZA-JPの8Bと70Bです。8BはHugging Faceで公開されました。70Bは、APIなどでの提供でした。発表資料によると、作り方は「日本語の追加事前学習と指示学習」です。ただし、データやトークン数は、僕らが読んだ記事・モデルカードには書かれていませんでした。詳しい説明は、ELYZAのブログにあるとされています。僕らは、そのページを読めていません。

2025年5月：Qwen2.5ベースの推論モデル。 2025年5月1日に公開された「ELYZA-Thinking-1.0-Qwen-32B」は、アリババのQwen2.5-32B-Instructがベースです。作り方は、少し変わっています。思考の過程を長く書いた学習データを、モンテカルロ木探索（ゲームAIに使われる探索の方法）を応用して作り、それをまねさせる学習です。ELYZAの技術ブログでは、約15万件の合成データを作ったと書かれています。同時に、考える過程を出さない「Shortcut」版（32Bと7B）も出ています。ライセンスは、Apache 2.0です。

2026年1月：拡散型。 2026年1月16日の「ELYZA-LLM-Diffusion」は、Dream 7Bというモデルがベースで、Apache 2.0で公開されました。ただ、今回の題材である「文章を順に書く普通のモデル」とは仕組みが違うので、ここでは深入りしません。

つまり、ELYZAは、土台を替えながら日本語を足しています。2024年はLlama、2025年はQwenです。

ライセンスは、土台から引き継ぐ

ここが、この流派でいちばん大事な点です。追加学習をしても、土台のライセンスの条件は、基本的に付いてきます。

モデル	土台	土台のライセンスの扱い
Qwen3-Swallow	Qwen3	どちらもApache 2.0。商用も可
ELYZA-Thinking-1.0-Qwen-32B	Qwen2.5-32B-Instruct	Apache 2.0（モデルカードの記載）
Llama-3-ELYZA-JP-8B	Llama 3	Meta Llama 3 Community License
Llama 3.3 Swallow 70B	Llama 3.3	Llama 3.3 Community LicenseとGemma利用規約の併記

Llamaの系統は、条件が増えます。ELYZA-JP 8Bのライセンスファイルを読むと、次の項目がありました。

月間の利用者が7億人を超える場合は、Metaに追加の許諾を求める
公開する際、「Llama 3」で始まる名前にし、「Built with Meta Llama 3」と表示する
Llama 3の出力を、ほかのLLMの改善に使ってはいけない

個人や小さな会社には、あまり関係がない条件が多いでしょう。ただ、「Apache 2.0」と書いてあるモデルと、同じ感覚では扱えません。たとえば、自分のモデルをこのモデルの出力で育てたい人は、3つ目の項目に注意が要ります。

Llama 3.3 Swallowは、Gemma利用規約も併記されています。理由は、僕らが読んだモデルカードの範囲では確認できていません。

ここまでが事実です。

日本語ベンチマーク：誰が測ったか

数字は、測った人で意味が変わります。ここでは、出どころを分けて並べます。

数字	測った人	備考
Qwen3 Swallow 8Bの日本語平均0.557。8B以下のオープンモデルで最高と報告	Swallowチーム（自社の測定）	Gigazineの報道で確認
GPT-OSS Swallow 20Bの日本語平均0.606	Swallowチーム（自社の測定）	同上
Qwen3 Swallow 32Bは、元のQwen3 32Bを、日英翻訳以外の多くの課題で上回った	Swallowチーム（自社の測定）	同上
Qwen3 Swallow 30B-A3Bは、英語の課題で元より下がる項目もあった	Swallowチーム（自社の測定）	同上
Llama 3.3 Swallow 70B Instruct v0.4のMT-Bench日本語0.772（GPT-4oは0.848）	Swallowチーム（モデルカード）	日本語の会話テスト
Llama 3 ELYZA-JP 70Bは、ELYZA Tasks 100とJapanese MT-Benchで、GPT-4と並ぶかそれ以上と発表	ELYZA（ELYZA Tasks 100は自社作成。MT-BenchはStability AIの日本語版）	2024年6月の発表。報道で確認

読み取れることを2つ書きます。

Swallowは、元のモデルより日本語が伸びた、と自分たちで示しています。 ただ、30B-A3Bでは、英語で下がる項目もあります。日本語を足すと、ほかが少し削られることがある、という例です。
第三者の数字は、僕らは見つけられませんでした。 SwallowにはLLMのリーダーボード（順位表）があり、100以上のモデルを同じ条件で測っています。ELYZAのモデルも載っています。ただ、運営はSwallowプロジェクト自身です。2026年2月20日に、Qwen3 SwallowとGPT-OSS Swallowが追加されました。僕らは、表の中の数字までは読めていません。

ELYZAの最新の動きについては、「ELYZA-JP 70B」のHugging Faceのページが、権限のエラーで読めませんでした。再試行はせず、発表記事のほうを使っています。

手元に置けるか：32GBのMacに載るか

ここからは、筆者の計算です。この記事は、実際に使って確かめた記録ではありません。前の記事（LLM-jp-4）と同じく、Macでモデルに使えるのは、メモリの約75%（32GBなら約24GB）と置きます。

Qwen3-Swallow 30B-A3B。

そのままの形式（BF16）は、モデルページの表示で約61.1GBです。32GBには載りません。
公式のAWQ-INT4版は、リポジトリの合計が16.8GBです。
会話の途中で使う作業メモリ（KVキャッシュ）は、土台の設計から計算できます。48層、KV用のヘッドが4つ、1つあたり128次元です。1トークンあたり、2×48×4×128×2バイトで、約98KBです。長さ32,768トークンなら、約3.2GBです。
16.8GBに3.2GBを足すと、約20GBです。24GBの枠には入る計算です。

ただし、注意が2つあります。AWQは、主にGPUのサーバーで動かす形式です。モデルページにも、vLLMやSGLangでの使い方が書かれています。MacのLM Studioやllama.cppで読むには、GGUFやMLXなどの形式が必要です。Swallow公式のGGUFは、僕らは見つけられませんでした。個人が作った版があるかも、確認できていません。形式を変えたあとの大きさは、AWQに近い、と見込めます。これは見立てです。

ELYZAのモデル。

Llama-3-ELYZA-JP-8B：「8B」という名前から、重みは約8Bです。4ビットに圧縮した版なら、約4.5GBです（筆者の計算。1つの数字を約4.5ビットとして、8×4.5÷8）。32GBでも余裕です。モデルページには、llama.cppなどで使える量子化版が14個ある、と読めました。ただし、作ったのは、ELYZA自身とは限りません。
ELYZA-Thinking-1.0-Qwen-32B：モデルページの表示は、約33Bで、BF16です。4ビットなら、重みだけで約18.6GBです（筆者の計算）。作業メモリ分の見積もりは、していません。長い会話まで余裕があるかは、実際に試さないと分かりません。

どちらも、「動く見込みがある」という話です。速さや日本語の質の落ち具合は、確かめていません。

:::

この流派の長所と注意点

ここは、見立てです。

長所。

追加で読ませる量が小さい。 土台に比べて、0.6%ほどです。土台の知識を活かして、日本語だけを足せます。ゼロから作るより、費用と時間を抑えやすいはずです。
土台が強いと、数学やコードも保てる。 Qwen3 Swallowは、数学やコードの性能を保つことを、特に説明しています。
ライセンスが分かりやすい例もある。 Qwen3 Swallowは、Apache 2.0です。商用も使えます。

注意点。

土台のライセンスが付いてくる。 Llama系は、名前の付け方や、出力の使い道に条件があります。使う前に、土台のライセンスを読む必要があります。
土台の出自は、国産ではない。 Qwen3の開発元は、中国のAlibabaです。前の記事で書いたとおり、土台の出自を気にする人には、国産という言葉だけでは足りません。Swallowは、土台を明示しています。この点では、隠していません。
土台が替わると、モデルも別物になる。 ELYZAは、LlamaからQwenに替えています。同じ「ELYZA」の名前でも、中身の素性は、世代で違います。
数字は、ほとんどが自社の測定。 第三者の独立した比較は、僕らは見つけられませんでした。

気をつけること

ベンチマークの数字は、Swallowチームとニュース記事、ELYZAの発表を経由した二次情報を含みます。出典の原文を、すべては読めていません。
32GBのMacに載るかは、計算上の話です。動作の確認はしていません。
Swallowのライセンスは、世代で違います。Qwen3 SwallowがApache 2.0でも、Llama 3.3 Swallowは別の条件です。使うモデルごとに、モデルカードで確認してください。
「GPT-OSS Swallow」は、ベースがOpenAIのGPT-OSSです。今回は、Qwen3 Swallowを中心にしたので、ここでは詳しく見ていません。

出典

更新履歴

2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した