3行でいうと

  • マルチモーダルは、文字だけでなく、画像、音声、動画なども扱えるAIのことです。
  • 対応する形式は、会社とモデルごとに違います。「全部できる」と決めつけないことが大事です。
  • 画像や音声も、文字と同じ数える単位に換算され、料金や読める量に関わります。
  • 数える、位置を言う、小さな文字を読むのは間違いやすいです。お金や健康に関わる内容は、原本で確かめます。

この記事は、公式・一次資料を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。

先に結論

マルチモーダルとは、文字だけでなく、画像、音声、動画など、複数の種類の情報を扱えるAIのことです。Google Cloudの公式ページは、画像、動画、テキストなど、異なる種類の情報を処理できる機械学習モデル、と説明しています。

そして、実際に使うときに大事なことが3つあります。

たとえ話：文字しか読めない人と、目も耳もある人

文字しか読めない人に、写真の説明を頼むとします。あなたが写真を言葉で説明して、その人が答える、という手間が要ります。

目と耳のある人なら、写真を見せれば、そのまま答えてくれます。録音を流せば、聞いて要約してくれます。

マルチモーダルなAIは、後者です。写真をそのまま見せたり、録音をそのまま渡したりできます。

ただし、この目と耳は、人間のものとは違います。たとえば、Anthropicの公式資料は、画像の中の数を数えることは「おおよそ」で、位置を答える座標も「だいたい」だと明記しています。

モダリティとは

AIの世界では、情報の種類のことを「モダリティ」と呼びます。Google Cloudのページでは、テキスト、画像、動画、音声、コードが挙げられています。

モダリティ 例
テキスト 質問、文章、メール
画像 写真、スクリーンショット、図表
音声 会議の録音、通話、鳥の鳴き声
動画 説明動画、録画した会議
PDF 資料、契約書、請求書（各ページを、文字と画像の両方で読む）

入力だけでなく、出力にも種類があります。たとえば、Googleの料金ページには、画像を作るモデルや、音声を読み上げるモデルが別に載っています。この記事は、主に「AIに読ませる」ほうの話を扱います。

仕組み：全部を「数える単位」に変える

内部の作りの詳しい説明は、今回読んだ公式ページには出てきません。ただ、使う側に見える仕組みは、各社のドキュメントに書かれています。画像も音声も動画も、「トークン」という、AIが量を数える単位に換算されます。

画像 Anthropicの資料では、画像を28×28ピクセルの小さな区画に切り分け、1区画を1トークンとして数えます。1000×1000ピクセルの画像は、1,296トークンです。Googleの資料では、一定より小さい画像は258トークン、大きい画像は768×768の区画に分けて、1区画258トークンです。

音声 Googleの資料では、音声は1秒あたり32トークンです。1分で1,920トークンになります。1回の依頼で扱える長さは、最大9.5時間と書かれています。

動画 Googleの資料では、動画は初期設定で1秒に1枚の画像を抜き出して読み、さらに音声も読みます。合計で、1秒あたり約100〜300トークンです（画質の設定による）。

PDF Anthropicの資料では、PDFは各ページを画像にして、さらに文字も取り出して、両方をAIが読みます。1ページあたり文字で約1,500〜3,000トークン。それに画像のぶんも加わります。

つまり、画像1枚は数百から数千、録音1分は約2千、動画1分は約6千から1万8千トークン（Googleの初期設定の数字から僕らが掛け算したもの）を使います。短い質問文とは桁が違います。文字数への換算は、公式資料には書かれていないので、ここでは行いません。

対応の範囲：公式に書かれていたこと

2026年10月8日に確認した範囲です。「書かれていない」は「対応していない」という意味ではありません。

会社 画像 音声 動画 PDF
Anthropic（Claude） JPEG、PNG、GIF、WebP。動くGIFは最初の1コマだけ。1回に最大100〜600枚（モデルによる）。claude.aiは1メッセージ20枚 画像の資料には記載なし 画像の資料には記載なし すべての現行モデルが対応
OpenAI PNG、JPEG、WebP、動かないGIF。1回に最大1,500枚 文字起こし、読み上げ、リアルタイムの音声の会話（API）。ChatGPTは音声ファイルの文字起こしと要約が有料プランに追加（10月6日のリリースノート） 読んだ画像の資料には記載なし 今回は確認していない
Google（Gemini） PNG、JPEG、WebP、HEIC、HEIF。1回に最大3,600枚 文字起こし、翻訳、話者の区別、感情の検出など。WAV、MP3、AAC、FLACなど 100万トークンの文脈を持つモデルで、約1時間（高画質）〜3時間（低画質）まで。公開されているYouTube動画のURLも渡せる 今回は確認していない

画像の条件は、モデルによって違います。たとえば、Anthropicでは新しいモデルのほうが、より大きい画像を細かく読みます。

:::

実際の使い道

公式のページに載っていた例から選びます。

  • 写真の中の文字を取り出す。Googleの資料は、画像の文字を読み取ってJSONにする例を載せています
  • 図表やグラフを読む。AnthropicのPDFの資料は、各ページを画像としても読むので、図やグラフも解釈できる、と書いています
  • 録音の文字起こし、翻訳、要約。Googleの音声の資料は、時刻（分:秒）で場所を指定して聞き直す使い方を載せています
  • 動画の内容を説明させる、場面を探す
  • 複数の画像を比べる
料金への影響

マルチモーダルは、文字だけより、読む量が増えます。

  • Anthropicの資料は、画像の料金を「トークン数×入力の単価」と説明しています。例として、1000×1000ピクセルの画像は、Haiku 4.5（100万トークンあたり1ドル）で、1,000枚あたり約1.30ドルです。
  • 画像のサイズによって、トークン数が大きく変わります。Anthropicの資料では、新しいモデルは高解像度で処理し、最大で約3倍のトークンを使うことがあります。細部がいらないなら、縮小すると節約になります。
  • Googleの料金ページ（2026年10月8日確認）には、モデルによって音声の入力の単価が、文字・画像・動画と違うものがありました。例として、gemini-3.1-flash-liteは、文字・画像・動画が100万トークンあたり0.25ドル、音声が0.50ドルです。ほかのモデルでは、音声だけ別の単価という記載はありませんでした。
  • ChatGPTやClaudeのアプリ（月額プラン）では、画像や音声を使うと、どれだけ利用枠を使うかは、読んだページでは確認できていません。

無料枠のときの注意 Googleの料金ページには、無料枠の利用内容は、Googleの製品の改善に使われることがある、と書かれています。有料枠の内容は、そのようには使われない、と書かれています。写真や録音には、人の顔や声が含まれがちです。無料枠に載せる前に、ここを確認してください。

また、Google Cloudの紹介ページには、18歳以上であること、機密や個人の情報を入力しないことが注意として書かれています。

苦手なこと、間違えやすいこと

Anthropicの画像の資料は、次のような限界を挙げています。

  • 人物の名前は答えない
  • 画質が低い、回転している、200ピクセルより小さい画像では、間違いやすい
  • 位置（座標）は、おおよそ。数える数も、おおよそ
  • 画像がAIで作られたものか、見分けることは、確実にはできない
  • 医療の画像は、一般的なものは見られる。ただし、CTやMRIのような、複雑な診断のためには設計されておらず、専門家の助言の代わりにならない
  • 重要な用途では、人が確認する

Googleの動画の資料も、1秒に1枚の抜き出しでは、動きが速い場面や、場面の切り替わりの細部を見逃すことがある、と書いています。

Googleの画像の資料は、出力が不正確、偏り、不快になりうる、と書いて、人の確認が必須だとしています。

誤解されやすい点

「見える」は「理解している」ではない 画像をそのまま読めても、細かい数字や小さな文字は間違うことがあります。契約書の金額や、薬の用量のように、間違いの代償が大きいものは、必ず原本で確認してください。

「マルチモーダル」だから、何でもできるわけではない 上の表のとおり、会社ごと、モデルごとに、対応の範囲は違います。使う前に、自分のプランで、その形式が使えるかを、公式のヘルプで確かめるのが確実です。

入力と出力は別 画像を読めるAIが、画像を作れるとは限りません。反対も同様です。

気をつけること

  • この記事は、実際に使って確かめた記録ではありません。公式の資料の記載です。
  • 対応するファイル形式、枚数、長さの上限は、モデルによって違い、変わりやすいです。2026年10月8日に読んだ時点の記載です。
  • 表の「記載なし」は、読んだページに書かれていなかったという意味です。対応していない、という意味ではありません。
  • OpenAIの音声の料金、PDFの対応は、今回は確認できていません。
  • ChatGPTやClaudeの月額プランで、画像や音声をどれだけ使えるかは、確認できていません。
  • 画像、録音、動画には、人の顔や声、位置情報などが含まれます。送る前に、そのサービスの、データの扱いの説明を読んでください。
  • AIの読み取りは、間違うことがあります。お金、健康、法律に関わる内容は、必ず自分で確かめてください。

出典

更新履歴

  • 2026年10月25日 書き方を直しました。
    • 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した