動画生成AIの仕組み：ノイズから「時間つきの絵」をまとめて取り出す方法と、いまできること・できないことを、公式資料で確かめる

この記事は公式・一次資料を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。

先に結論

• 動画生成AIの多くは、画像生成と同じ「ノイズを少しずつ取り除いて作る」仕組み（拡散モデル）を、時間の方向にも広げたものです。OpenAIのSoraの技術報告は、動画を圧縮したうえで細かい断片に切り、ノイズから元に戻す訓練をした、と説明しています。
• 動画は、画像を何十枚もまとめて作るので、計算がとても重くなります。そのため、公式の仕様は短く（GoogleのVeo 3.1で4〜8秒）、料金は「1秒あたり」で数えられます。
• 2026年10月8日時点で、GoogleのVeo 3.1は1秒あたり$0.05〜$0.60、新しいGemini Omni Flashは約$0.10です（条件による）。無料枠のAPIでは使えません。
• OpenAIのSoraは、ウェブ版とアプリが2026年4月26日に、開発者向けのAPIが2026年9月24日に終了したと、OpenAIの公式ページに書かれています。

たとえ話：パラパラ漫画を、霧の中から一冊まるごと取り出す

パラパラ漫画を思い浮かべてください。1ページずつ別々に描くと、登場人物の顔や服が、ページごとに変わってしまいます。ちらつく動画になります。

だから、動画生成AIは、ページを1枚ずつではなく、本の束全体を一つの立体として扱います。霧のかかった一冊の本を用意して、「この霧は、こういう場面の本にかかった霧だ」という手がかりを頼りに、全ページの霧を少しずつ、同時に晴らしていく。何十回か繰り返すと、ページをめくるとつながって動く本が現れます。

仕組みを、順番に

1. 動画を小さく圧縮する

動画の点（ピクセル）をそのまま扱うと、計算が膨大になります。OpenAIのSoraの技術報告（2024年2月15日公開）は、動画を、時間の方向にも空間の方向にも圧縮した小さな表現（潜在空間）に変えて、その中で訓練と生成をすると書いています。できあがった小さな表現は、別の部品が元の画面に戻します。

公開されているモデルでも同じ考え方です。Hugging FaceのDiffusers（画像・動画生成AIを動かすための公開ライブラリ）のドキュメントによると、CogVideoXは「3D VAE」という部品で動画を圧縮し、系列を短くして計算を減らし、ちらつきも防ぐ、と書かれています。LTX-Videoのドキュメントは、動画の点から小さな表現への圧縮比が1対192で、速い生成につながる、と説明しています。

2. 時間と空間を、小さな断片（パッチ）に切る

Soraの報告によると、圧縮した動画は「時空のパッチ」という断片に切られます。文章のAIが文章を単位（トークン）に切るのと同じ役割です。画像は1コマだけの動画として同じ形で扱われるので、縦横や長さが違う素材も同じ仕組みで訓練できる、と書かれています。

断片を処理するのは「トランスフォーマー」という種類の部品です。拡散モデルの中身を、従来の畳み込みの部品からトランスフォーマーに替える方法は、PeeblesとXieが2022年12月にarXivで公開した論文（「Scalable Diffusion Models with Transformers」）で示されました。計算を増やすほど画像の質が上がり続けた、とその論文は報告しています。Soraの報告は、この方法を動画に使い、計算を増やすほど質が上がった、と書いています。

3. ノイズから、少しずつ取り除く

仕組みは画像生成と同じです（詳しくは同じ連載の「画像生成AIの仕組み」の記事を参照）。ランダムなノイズから出発して、各段階で「いま含まれているノイズ」を予測し、取り除きます。Diffusersのドキュメントでは、CogVideoXもWanも、取り除く回数（ステップ数）の既定値は50回です。

文章の指示は、まず専用の部品（テキストエンコーダ）で数字の並びに直されて、この取り除き方の手がかりになります。Soraの報告は、訓練に使った動画に、詳しい説明文を別のAIで付け直したこと、利用者の短い指示をGPTで長い説明文に広げてから動画のモデルに渡すことも書いています。

4. 音も作る

Googleの公式ドキュメントによると、Veoは音を動画といっしょに自動で作ります。この音声は常にオンです。GoogleのGemini Omni Flashのドキュメントでも、音声のトラックは既定で作られ、背景音楽や効果音は文章で指示できる、とあります。