3行でいうと
- 公式が運営するつなぎ口は、オープンソースの
whisperコマンドとPythonライブラリ、OpenAI APIの文字起こし（/v1/audio/transcriptions）、ライブ用のRealtime transcriptionの3系統です。 - 出力は、文字だけ、JSON、字幕形式（SRT/VTT）などを選べます（API。モデルごとに使える形式が違います）。文字になった内容を、別のAIに渡す部分は、利用者側の作業です。
- 公式の「音声エージェント」の資料には、音声を文字にし、AIが考え、音声で返す、という3段の組み合わせ（chained）が載っています。文字起こしはその1段目です。
- MCPサーバーやプラグインなど、AIアプリから直接Whisperを呼び出す公式の仕組みは、読んだ範囲では見つかりませんでした。
- 第三者製の拡張や移植版は、公式のREADMEが「Show and tell」というDiscussionsの一角で共有してよいと呼びかけていますが、僕らは中身を読んでいません。公式が運営するものとは分けて考えてください。
この記事は、公式の資料を2026年10月23日に読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。公式のページは要約の形で取得したため、「書かれていない」と言い切らず「読んだ範囲では見つからなかった」と書いています。この記事で「公式」と書いたものは、すべて OpenAI の資料（github.com/openai/whisper、developers.openai.com、help.openai.com、openai.com）にあるものです。
先に結論
- 「文字にする」と「AIに考えさせる」は別の段階。 Whisperは前の段階です。文字にした結果を、ChatGPTやClaudeなどに貼る、またはプログラムでつなぐ、という作業を、利用者が組み立てます。
- 一番手軽なのは、
whisperコマンドで文字にして、そのテキストをAIに渡す形。 公式が用意しているのは前半です。後半は、どのAIに渡すかで、データの行き先が変わります（見立て）。 - プログラムに組み込むなら、APIかPythonライブラリ。 自分のPCで動かすならライブラリ、OpenAIのサービスを使うならAPIです。
- AIアプリ（チャット）から直接Whisperを呼ぶ公式の仕組み（MCPなど）は、読んだ範囲では確認できていません。
前提：用語をそろえる
- API：他のプログラムから呼び出すための入口。
- SDK：APIを使いやすくする、プログラムの部品集。公式の「Agents SDK」は、音声エージェントの例で使われています。
- Realtime（リアルタイム）：話している間に、やりとりを続ける仕組み。WebSocketやWebRTCという通信方法でつなぎます。
- chained（連鎖）：音声→文字→AIの判断→音声、と段を分けて組み合わせる方式。公式の「Voice agents」の資料にあります。
- speech-to-speech：1つのモデルが音声を聞き、判断して、音声で答える方式。同じ資料にあります。
- MCP（Model Context Protocol）：AIアプリが外のツールやデータにつながるための共通の決まり。
- ZDR（ゼロデータ保持）：承認を受けた顧客が、一部のデータの保存をなくせる仕組み。04で扱います。
たとえ話：「書記官の書いた議事録を、誰に渡すか」
書記官（Whisper）が録音を書き起こして議事録を作ります。その議事録を、秘書（ChatGPTなどのAI）に渡して要約してもらうか、そのまま保管するかは、あなたが決めます。書記官を家に置くか事務所に預けるか（01）は、書記官の側の話。議事録を誰に渡すかは、別の話です。同じ録音でも、渡し先が増えるほど、データが行く場所も増えます。
公式が用意しているもの
1. whisper コマンドとPythonライブラリ（オープンソース）
| 項目 | 公式のREADMEに書かれていること |
|---|---|
| 入れ方 | pip install -U openai-whisper。最新の開発版は pip install git+https://github.com/openai/whisper.git |
| コマンド | whisper audio.flac audio.mp3 audio.wav --model turbo。全オプションは whisper --help |
| 言語・翻訳 | --language Japanese、--task translate |
| Python | whisper.load_model("turbo") と model.transcribe("audio.mp3")、結果は result["text"] |
| 下位の部品 | whisper.detect_language()、whisper.load_audio()、whisper.pad_or_trim()、whisper.log_mel_spectrogram()、whisper.decode() |
- 出力形式の細かい指定は、READMEには書かれていません。公式のコード（whisper/transcribe.py）では、コマンドの
--output_formatでtxt、vtt、srt、tsv、json、jsonl、all（既定）を選べます。 - データの流れ：自分のPCで処理する形です。READMEには、処理中に音声をどこかへ送る、という記述は見つかりませんでした（ただし、それが「送らない」という保証の文ではありません）。文字になった結果を別のAIへ貼れば、その先のサービスの扱いに従います。
2. OpenAI APIの文字起こし
| 項目 | 公式に書かれていること | 公式のどこに |
|---|---|---|
| 入口 | POST /v1/audio/transcriptions。ファイルを渡す |
APIリファレンス |
| 推奨のモデル | gpt-transcribe（録音された音声を元の言語のまま文字にする） | File transcriptionガイド |
| 旧モデル | whisper-1、gpt-4o-transcribe、gpt-4o-mini-transcribe、gpt-4o-transcribe-diarize は2027年2月26日に停止 |
Deprecations、ガイド |
| 出力形式 | json、text、srt、verbose_json、vtt、diarized_json。ただしモデルごとに使える形式が違う（gpt-4o-transcribeとmini版は json のみ） | APIリファレンス |
| 手がかり | prompt、keywords、languages |
ガイド、リファレンス |
| 長い音声 | chunking_strategy（"auto" または VAD の設定。VADは、音声がある区間を見つけて区切る仕組み）。未指定なら1つのかたまりとして処理 |
APIリファレンス |
| ストリーム | stream=true（whisper-1 では無視される） |
リファレンス |
| 上限 | 1ファイル25MBまで（ガイド）。リファレンスには上限の記述が見つからなかった | ガイド、ヘルプ |
- 公式の更新履歴には、2026年7月28日に gpt-transcribe と gpt-live-transcribe を公開した、という項目があります。同年5月7日には gpt-realtime-whisper の公開が書かれています。
- Transcriptionガイドは、
gpt-realtime-whisperを「既存の連携では使えるが、新しい連携には勧めない」という趣旨で説明しています。 - データの流れ：音声ファイルが、OpenAIのサーバーに送られます。学習への利用、保存、削除の決まりは、04で整理します。
3. ライブの文字起こし（Realtime transcription）
- 仕組み：セッションに音声を送り続けると、話している間に文字の差分（delta）が返り、アプリが区切りを確定させると最終の文字が返ります。公式の例では、
input_audio_buffer.appendで音声を送り、input_audio_buffer.commitで区切ります。 - つなぎ方：サーバー側は
wss://api.openai.com/v1/realtime?intent=transcription（WebSocket）。ブラウザの音声にはWebRTC、と案内されています。 - 例の音声形式は、24kHzの
audio/pcmです。他の形式は、読んだ範囲では書かれていませんでした。 - 推奨の開始点は gpt-live-transcribe。話者ラベル、単語の時刻、信頼度は返さない、とあります。話し終わりの検出は、アプリ側で行う必要があります。
- 公式のリアルタイムの資料に、ベータや実験的といった表示は、読んだ範囲では見つかりませんでした。
- データの流れ：話している音声が、通信でOpenAIへ流れ続けます。
4. 音声エージェントを作るための資料（Voice agents）
- 公式の資料には、音声エージェントの作り方として、speech-to-speech（Realtime API）、chained（文字起こし→エージェント→音声合成）、そして全二重（GPT-Live）の3つが載っています。
- chainedでは、文字起こしが最初の段で、各段を取り替えたり確認したりできます。文字を保存する、安全の確認を挟む、といった処理を入れられる、と書かれています。
- コードの部品として、Agents SDKの
VoicePipeline、SingleAgentVoiceWorkflow、AudioInputや、Realtime用のRealtimeAgent、RealtimeSessionが挙がっています。 - 全二重（GPT-Live）の説明には、裏側の判断に、OpenAIが提供するモデルも、自分のエージェントや提供元も使える、という記述があります（読んだ範囲）。chainedの段ごとに同じことが言えるかは、確認できていません。
- データの流れ：音声は文字起こしの段でOpenAIに行き、文字は次の段の「AIの判断」を担うサービスに渡ります。その先は、そのサービスのルールに従います。
5. ChatGPTの音声入力（参考）
- ChatGPTには、マイクのアイコンで話すと文字になる「Voice Dictation」があります。録音された音声はOpenAIのモデルに送られて文字になり、送る前に直せる、とヘルプにあります。
- これはChatGPTの機能で、このガイドが扱うWhisperのリポジトリやAPIの説明とは、別のものとして書かれています。Whisperを使っているかどうかは、読んだ範囲では書かれていませんでした。データの扱い（保存、学習）は、04で書きます。
公式の資料では確認できていないもの
| 項目 | 状況 |
|---|---|
| MCPサーバー（AIアプリからWhisperを呼ぶ） | OpenAIの資料では、読んだ範囲では見つかりませんでした |
| ChatGPTやClaudeのプラグイン・アプリとしてのWhisper | 見つかりませんでした |
| 文字起こし結果の書き出しボタンのようなもの | Whisperは部品なので、画面はありません。出力はファイルや戻り値になります |
| 他のAIへの自動連携（インポート） | 公式のREADMEやガイドには、特定のAIアプリへの自動連携は、読んだ範囲では見つかりませんでした |
第三者製・コミュニティ製（公式が運営するものではない）
- 公式のREADMEは、「Show and tell」のDiscussionsで、Whisperの使い方や第三者の拡張の例が共有されている、と案内しています。GitHubの、利用者による投稿の場所です。中身は読んでいません。
- Whisperを部品として使う、アプリ、移植版、クラウドの代行サービスなどが、公式の外にあると考えられますが、これらは公式の資料では確認していません。名前の列挙も、しません。
- このシリーズの別ガイドの「Superwhisper」と「Aqua Voice」は、それぞれ別の会社の音声入力アプリです。Aqua Voiceのガイドには、OpenAI互換の形の入口を持つAPIがある、と書かれています。ただし、これらがWhisperの中身を使っているかどうかは、このガイドでは確認していません。
- 第三者のものを使うときは、「音声がどこへ行くか」「保存と学習」を、その会社の資料で確かめてください。この記事の「OpenAIのAPIでは学習に使われない」という記述は、そのまま当てはまりません。
データがどこへ流れるか：つなぎ方ごとのまとめ
| つなぎ方 | 音声の行き先 | 文字の行き先 |
|---|---|---|
whisper コマンド、Pythonライブラリ |
自分のPC（READMEに送信の記述なし） | 自分のPCのファイル。貼った先に従う |
| OpenAI APIのファイル文字起こし | OpenAIのサーバー | 返ってきた先のあなたのプログラム。その先は自分次第 |
| Realtime transcription | OpenAIのサーバー（通信しながら） | あなたのアプリ |
| 音声エージェント（chained） | 文字起こしの段でOpenAI | 次の段のAIサービス（OpenAIとは限らない） |
| 第三者のアプリ | その会社による | その会社による |
見立て：初心者が最初にやりやすい順
見立てです。断定はしません。
- 録音1本を
whisperコマンドで文字にする。 準備ができるなら、一番シンプルです。 - 文字を、いつも使っているAIに貼って、要約や整理を頼む。 ここから先は、そのAIの規約に従います。
- 慣れてから、APIやリアルタイムを検討する。 APIは旧モデルから新モデルへの移行の時期なので、最新の公式の資料を先に読んでください。
気をつけること
- この記事は、実際に使って確かめた記録ではありません。公式のページを要約の形で読んだ範囲です。
- 公式の資料同士で食い違う所があります。たとえば、
whisper-1のモデルのページには廃止の記述が見つからず、ガイドと廃止の告知にはあります。対応するファイル形式も、ガイドとリファレンスで少し違います。 - AIに文字を渡す段階では、元の録音とは別の個人情報が、AIの会社に渡ることになります。会議などの録音は、参加者の同意と、社内のルールを、先に確かめてください（01も参照）。
- 音声エージェントの資料に出てくるモデル名や価格は変わることがあります。この記事には、価格を載せていません（01と04を参照）。
- MCPなどの公式の仕組み、第三者製のものの中身は、読んだ範囲では確認できていません。
出典
- openai/whisper（OpenAI、GitHub、確認日 2026-10-23）
- File transcription（OpenAI、確認日 2026-10-23）
- Transcription（OpenAI、確認日 2026-10-23）
- Realtime transcription（OpenAI、確認日 2026-10-23）
- Voice agents（OpenAI、確認日 2026-10-23）
- Create transcription（API reference、OpenAI、確認日 2026-10-23）
- Changelog（OpenAI、確認日 2026-10-23）
- Deprecations（OpenAI、確認日 2026-10-23）
- Audio API FAQ（OpenAI Help Center、確認日 2026-10-23）
- Voice Dictation - FAQ（OpenAI Help Center、確認日 2026-10-23）