この先に書いてあること

  • 沖縄のガイドブックを、ChatGPTに作らせてみました。
  • Codexに相談して、数日待つことになった話。
  • AIが賢くなったのか、僕の勘違いだったのか。

最近、AIの進化には本当に驚かされることが多い。

僕は日常業務のほとんどをClaude Codeに任せている。企画を考え、設計を行い、プログラムを作り、実際に動かして検証する。今では、僕が直接手を動かす場面はかなり少なくなった。

AIに目的を伝えれば、そこに到達するための方法をAI自身が考え、必要な作業を進めてくれる。

そんな環境に慣れてしまった僕は、いつの間にか「AIとはそういうものだ」と思うようになっていた。

ところが先日、その認識を根底から覆される出来事があった。

しかも、相手はOpenAIのChatGPTとCodexである。

今回は、その顛末を書いてみようと思う。

画像生成の進化に驚いたことが始まりだった

きっかけは、画像生成AIの比較だった。

最近、GoogleのNano BananaとChatGPTの画像生成機能を比較する機会があった。同じような条件で何度も画像を生成してみたところ、僕の評価ではChatGPTの方が圧倒的に優れていた。

特に驚いたのは日本語の描画能力だ。

少し前まで、画像生成AIに日本語を書かせると、文字が崩れたり、存在しない漢字が登場したりすることが珍しくなかった。

ところがChatGPTは、かなり自然な日本語を画像の中に描けるようになっていた。

これはすごい。

それなら、実際の制作物にも使えるのではないか。

そう考えた僕は、沖縄旅行のガイドブックを作らせることにした。

対象は小学校低学年の女の子。子供が見て楽しく、同行する大人にも役立つガイドブックだ。

A4横向きで、観光地ごとに1ページ。かわいい女の子のキャラクターを登場させ、場所に合わせて服装やポーズを変える。

観光地の説明は子供にも理解できるようにしながら、大人が必要とする情報も掲載する。

当然、実在する観光地の情報は正確でなければならない。

これをChatGPTと相談しながら作っていこうと考えた。

最初からExcelを作りたかったわけではない

ここで重要なのは、僕が最初から完璧な仕様書を用意していたわけではないということだ。

そもそも、それを作るのが面倒だった。

観光地ごとの情報をExcelにまとめ、掲載する文章を考え、画像の構図や衣装を指定し、全ページの制作仕様を整理する。

そんなことを人間が全部やるのであれば、AIを使う意味が半減してしまう。

だから僕はChatGPTと壁打ちをすることにした。

ここには何を載せようか。

この場所は子供にどう説明すればいいだろう。

この観光地なら、こんな服装が似合うんじゃないか。

そうやって会話を重ねながら内容を決め、その結果をそのまま画像にしていく。

決まったことはAIが覚えておき、次の制作に反映する。

僕にとっては、ごく自然なAIの使い方だった。

ところが、これが大きな間違いだった。

ChatGPTは、決めたことを守ってくれない

制作を始めると、次々に問題が発生した。

A4横向きで統一するように指示したのに、ページによって縦横比が違う。

観光地1か所につき1ページと指定したのに、複数の場所を同じページに入れてしまう。

必ず掲載してほしい情報が抜け落ちる。

同じ女の子を登場させているはずなのに、途中から顔が変わってしまう。

実際の店舗の入口が分かる写真を使ってほしいと頼んでも、存在しない店舗の外観を生成する。

参考となるWebサイトまで渡して、何度も修正を依頼した。

それでもうまくいかない。

途中で別の作業環境への移行を提案されたが、今度はそれまでの制作条件が十分に引き継がれない。

ようやくページサイズが正しくなったと思ったら、今度はデザイン全体が変わってしまった。

そして極めつけは、不要だと明確に伝えていた空港アクセス図が、いつの間にか復活していたことだ。

このガイドブックに、空港アクセスの説明は必要ない。

それなのに、なぜ復活しているのか。

最後には、紹介した観光地の位置関係を示す沖縄の地図を作らせた。

ところが、名護の位置さえおかしい。

掲載する必要のない場所が入り、必要な場所が抜け落ちている。

何度修正を指示しても改善しない。

結局、地図の制作は諦めた。

この時点で、僕はかなり疲れていた。

GPT-3.5の頃を思い出した

ChatGPTが登場した頃、僕も当然のように使っていた。

しかし、GPT-3.5の頃は本当にひどかった。

質問しても的外れな回答が返ってくる。間違いを指摘すると謝罪する。そして、しばらくすると同じ間違いを繰り返す。

そのうち、AIに説明する時間の方が、自分で作業する時間より長くなってしまった。

これでは意味がない。

そう考えて、当時は利用をやめたこともあった。

今回、久しぶりにあの感覚を味わった。

確かに画像生成能力は飛躍的に進歩している。

日本語もきれいに描ける。

しかし、会話の中で決めたことを保持し、仕事として最後まで完成させる能力はどうなのだろう。

少なくとも今回の制作では、僕が期待していた水準には達していなかった。

そして、ここで僕自身の認識にも間違いがあったことに気づいた。

ChatGPTの中にCodexがいると思っていた

僕は、ChatGPTとCodexの関係を少し勘違いしていた。

ChatGPTがユーザーとの窓口になり、複雑な処理が必要になれば、内部でCodexのような機能に仕事を引き継ぐ。

そんな仕組みだと思っていたのだ。

だから、わざわざ最初からCodexを開く必要はないと考えていた。

しかし、実際には通常のChatGPTの会話が、自動的にCodexの作業環境へ引き継がれるわけではない。

それなら最初からCodexを使えばいいではないか。

Codexでも壁打ちはできる。

仕様書も作れる。

ファイルも管理できる。

プログラムも書ける。

画像生成機能を利用する方法もある。

ChatGPTで考えてCodexで実行する必要などなく、最初からCodexで考えてCodexで実行すればいい。

そう考えた僕は、今回のChatGPTとのやり取りをCodexに渡し、何が問題だったのか検証させることにした。

ところが、ここからさらに驚く展開が待っていた。

Codex、お前もか！

Codexに今回の経緯を説明し、どうすればよかったのかを分析させた。

すると、返ってきた提案はこういうものだった。

「作り直すなら、普段使っているClaude CodeかCodexを制作の窓口にして、AI側が会話から仕様ファイルを更新します」

……。

それは、僕がすでに考えていることではないか。

しかも、なぜClaude Codeが登場するのだろう。

僕はCodex自身に、今回の問題をどう解決できるのか考えてほしかった。

ところが、Claude Codeで整理したものをCodexに渡すという方向に話が進んでしまった。

これでは、ChatGPTからCodexへ仕事を回し、さらにCodexからClaude Codeへ仕事を回しているだけではないか。

AI同士でたらい回しである。

それでも、ここまではまだよかった。

本当に驚いたのは、その後だった。

チャットの全文を読めない？

今回の問題を正確に分析するには、実際に失敗したChatGPTの会話を確認する必要がある。

そこでCodexに、該当するチャットを読んでほしいと依頼した。

すると、Codexは末尾の5行程度しか確認できないと言う。

それでは分析にならない。

全文を確認するように伝えると、今度はこう返ってきた。

「チャットの全文をコピーして渡してください」

ちょっと待ってほしい。

僕は、その作業をAIにやってほしいから頼んでいるのだ。

なぜAIができない作業を、人間にやらせようとするのか。

僕はCodexに聞いた。

「君は自分でできないの？」

すると、ようやく別の方法を検討し始めた。

ここが、僕にとって非常に大きな違和感だった。

僕が普段使っているClaude Codeは、何か問題が発生すると、まず自分で解決方法を探そうとする。

必要な権限があれば、「こういう操作をするので承認してください」と伝えてくる。

承認ボタンを押せば、その先は自分で進めてくれる。

もちろん、Claude Codeにもできないことはあるし、間違いも起こす。

しかし、僕の経験では、最初の方法が失敗したからといって、すぐに作業を人間へ押し戻すことは少ない。

ところが今回のCodexは違った。

「できません。人間がやってください」

まず、そういう方向に進んでしまう。

それなら、何のためのAIなのだろう。

そして、2日待つことになった

Codexは別の方法を検討した結果、ChatGPTのデータをエクスポートする方法を選択した。

その結果、OpenAIからメールが届いた。

「データのエクスポートの準備を開始しました。この処理には数日かかる場合があります」

思わず笑ってしまった。

僕がやりたかったのは、たった一つのチャットを読ませることだ。

OpenAIの全データをバックアップしたかったわけではない。

それなのに、アカウントのデータエクスポートという大がかりな方法を選び、数日待つことになってしまった。

もちろん、大量の個人データを安全に準備する処理に時間がかかること自体は理解できる。

問題は、そこではない。

たった一つのチャットを確認するために、数日待つ方法を選択することが合理的なのか。

もっと直接的な方法はないのか。

そもそも、その方法で目的を達成できるのか。

そうしたことを十分に検討したうえでの判断だったのだろうか。

少なくとも、僕にはそうは見えなかった。

そして、ここで今回の状況を整理してみた。

沖縄のガイドブックは完成していない。

ChatGPTで発生した問題の検証も終わっていない。

Codexに解決を依頼した結果、数日待つことになった。

つまり、何一つ解決していないのである。

AIの知能と、仕事ができることは違う

今回の経験で、僕は一つ重要なことに気づいた。

AIの性能を比較するとき、一般的には推論能力やコーディング能力、数学の問題を解く能力などが話題になる。

しかし、実際に仕事を任せる立場からすると、それだけでは不十分なのだ。

僕がAIに求めているのは、難しい問題に正解する能力だけではない。

目的を理解し、そこに到達するために自分で考え、問題が起きたら解決方法を探し、最後まで仕事を進める能力だ。

例えば、必要な情報が取得できなかったとする。

そのとき、

「取得できません。コピーして渡してください」

と答えるAIと、

「直接取得できませんでした。別の方法を試します。途中で承認が必要になったらお願いします」

と答えるAIでは、仕事の進み方がまったく違う。

後者が必ず成功するとは限らない。

しかし、少なくとも人間の負担を減らそうとしている。

僕はAIに、できないことを隠してほしいわけではない。

できないことは、できないと説明してくれて構わない。

ただし、その前に、自分で解決できる方法を探してほしいのだ。

人間がAIの代わりに作業をするのであれば、何のためにAIを導入したのか分からなくなる。

僕がClaude Codeを高く評価する理由

今回の出来事を通して、僕がなぜClaude Codeをこれほど高く評価しているのか、改めて理解できた気がする。

それは、単純にプログラミング能力が高いからではない。

僕の仕事を理解し、目的に向かって自分で作業を進めようとするからだ。

僕は最初に資料と目的を渡す。

そして、完成形をできるだけ明確に伝える。

途中で細かな指示を出すこともあるが、基本的にはAI自身に考えさせる。

もちろん、絶対に変更してはいけない領域や、人間の承認が必要な操作は明確にしている。

それ以外は、できるだけ自由に動いてもらう。

僕にとって理想的なAIとは、何でも勝手に決定するAIではない。

人間が決めるべきことは人間に確認し、それ以外の作業は自分で進めるAIだ。

今回のChatGPTとCodexは、僕の利用環境では、その期待に応えられなかった。

ただし、これは僕が今回経験した範囲での評価であり、すべての環境や利用者に同じ結果が当てはまるという意味ではない。

AIを使うほど、人間が忙しくなるという矛盾

今回、僕が最も残念に感じたのは、AIの性能そのものではない。

AIを使って仕事を楽にするつもりが、逆に仕事が増えてしまったことだ。

ChatGPTには何度も同じ仕様を説明した。

間違った画像を指摘した。

修正された画像を確認した。

別の間違いを見つけて、また説明した。

その後、Codexに問題を分析させようとした。

すると今度は、チャットの全文をコピーするよう求められた。

それを断ると、別の方法を探し始めた。

そして最後には、データのエクスポートを待つことになった。

僕はいつの間にか、AIの作業を管理するために、膨大な時間を使っていた。

本来は逆でなければならない。

AIが人間の仕事を管理し、人間は必要な判断だけを行う。

少なくとも、僕はそういう方向にAIを活用してきた。

ところが今回、久しぶりにAIの面倒を見る仕事をさせられてしまった。

これは、僕にとって大きな後退だった。

ChatGPTの注意書きの意味が分かった

ChatGPTの画面には、こんな注意書きが表示される。

「ChatGPTは間違えることがあります。重要な情報は確認してください。」

今回、この言葉の意味を改めて考えさせられた。

確かに、AIは間違える。

それは理解している。

人間だって間違えるのだから、AIに完全無欠を求めるつもりはない。

しかし、僕が問題にしているのは、単純な間違いではない。

間違いを指摘されても同じ問題を繰り返し、目的を達成するための方法を自分で考えず、人間に作業を戻してしまうことだ。

これでは、どれだけ高度な推論能力を持っていても、実務では使いにくい。

AIの能力が上がれば上がるほど、人間はより高度な仕事を任せるようになる。

そうなれば、単に質問に答えるだけでは足りない。

仕事を理解し、進捗を管理し、問題を発見し、必要なら自分で修正する。

そういう能力が求められるようになる。

今回の経験は、AIの進化を評価するうえで、僕自身の基準を見直すきっかけになった。

結局、AIは賢くなったのだろうか

僕はAIの進化を強く信じている。

医学や科学の発展にも、企業の生産性向上にも、これからのAIは大きく貢献すると考えている。

その考えは今回の出来事でも変わらない。

しかし、一つだけ認識を改める必要がありそうだ。

AIの知能が高くなることと、AIが仕事のできる存在になることは、必ずしも同じではない。

今回、ChatGPTの画像生成能力には本当に驚かされた。

しかし、その画像を使って一冊のガイドブックを完成させることはできなかった。

Codexにも期待した。

しかし、問題の原因を調べる段階でつまずき、結局は数日待つことになった。

僕がAIに求めているのは、世界最高水準のベンチマークスコアではない。

「これを完成させてほしい」と伝えたときに、「分かりました」と言って、実際に完成させてくれることだ。

もちろん、途中で問題が起きることはある。

そのときに、問題を解決するために自分で動いてくれるかどうか。

そこに、実務で使えるAIと、そうでないAIの大きな違いがあると思う。

そして今回、もう一つ分かったことがある。

僕が普段Claude Codeを使っていて感じていたAIの進化を、そのまますべてのAIに当てはめて考えてはいけなかったということだ。

同じように会話ができても、仕事の進め方はまったく違う。

それを身をもって理解した。

さて、肝心の沖縄ガイドブックはどうなったのか。

まだ完成していない。

ChatGPTで作れず、Codexに相談しても解決せず、今はOpenAIからのデータエクスポートを待っている。

AIを使えば数時間で終わると思っていた仕事が、AIを使ったおかげで数日がかりになってしまった。

何とも皮肉な話である。

もっとも、今回の出来事で一つだけ確実に完成したものがある。

このコラムだ。

ガイドブックは完成しなかったが、AIの失敗談だけは立派な作品になった。

これもAIの進化の成果ということにしておこうか（笑）。