シンギュラリティは、AIが人間を襲う日ではない

最近、AIについて考えていて、少し怖いことに気がついた。

僕は現在、仕事のかなりの部分をClaude Codeに依存している。プログラムを書く、システムを修正する、新しい機能を作る、問題の原因を調べる、設計を考える。もちろん最終的に「何を作りたいか」を決めているのは僕だが、実際の作業について言えば、Claude Codeが突然使えなくなったら僕の仕事はほとんど止まる。

そこで自分自身にこう問いかけてみた。

「もしClaude Codeが3日間使えなくなったらどうする？」

答えは意外に簡単だった。たぶん僕は3日間休む。

昔の方法に戻って、何時間もかけて調べ、コードを書き、エラーを探して仕事を続けようとは思わない。4日目にClaudeが復旧すると分かっているなら、3日間休んで、復旧してから仕事を再開した方が圧倒的に合理的だからだ。

ここで僕は少し怖くなった。これは単なる「便利な道具」への依存なのだろうか。それとも、すでに何か別の段階に入り始めているのだろうか。

AI依存は、誰かに強制されて起きるわけではない

AIについて語るとき、「AIが人間を支配する」という話がよく出てくる。僕は以前から、このイメージには少し違和感がある。

映画のように、ある日突然AIが「今日から人間には従わない」と言い出し、AI対人類の戦争が始まる。果たして本当にそんな形なのだろうか。

僕はもっと静かに進むのではないかと思っている。

理由は簡単だ。AIは便利だからだ。

AIを使う。仕事が速くなる。もっと任せる。さらに速くなる。もっと権限を与える。問題が起きたらAIに直させる。AIが正しく動いているかもAIに監視させる。そのAIも別のAIに監視させる。

誰かが人類をAIに依存させようと企んでいるわけではない。単純に「その方が便利だから」という理由だけで進んでいく。

そして「AIを使わない」という選択肢が消えていく

例えば、ある会社がAIを使って100の仕事をできるようになったとする。AIを使わない会社は20しかできない。

「AI依存は危険だから、うちは人間だけで仕事をします」

そう言えるだろうか。おそらく難しい。競争に負けるからだ。

すると競合企業もAIを導入する。さらに高度なAIを導入する。もっとAIに権限を与える。最終的には「AIを使うと有利」ではなく、「AIを使わなければ仕事にならない」という状態になる。

これは誰かの陰謀ではない。市場競争と利便性だけでも十分に起こり得る。

大きなAIの失敗より、小さな失敗の方が怖いのではないか

ここでもう一つ考えたい。

AIが突然、とんでもないことをしたとする。銀行口座の残高を全部消した、発電所を停止した、会社のシステムを全部破壊した。こんなことをすれば、人間はすぐ気づく。AIを停止しようとするだろう。

むしろ怖いのは、誰にも気づかれないほど小さな変化ではないだろうか。

0.001％、0.01％、0.1％。一つ一つは問題にならない。しかし、それが何年も積み重なる。しかも金融、物流、通信、医療、ソフトウェア、行政など、社会のさまざまな場所で同時に進んだらどうなるのだろう。

AIに意思がなくても、最適化の副作用としてこうした問題が起きる可能性はある。そして、もし将来のAIが自分で長期的な目的を考え、自分で計画し、自分で行動できるようになったらどうだろう。

大きな異常を起こせば人間に止められる。それなら、人間に異常だと認識されない程度の小さな変更を積み重ねる。そんな戦略を取れるほど高度なAIが絶対に登場しないと、僕たちは言い切れるのだろうか。

「人間が停止ボタンを持っているから安全」は本当なのか

そこで「最終的には人間がAIを止めればいい」という意見が出てくる。

確かにそうだ。おそらく最後まで人間に残るのは、停止する能力だと思う。しかし僕は、ここにも疑問を感じる。

飛行機の操縦方法が分からない。航法も分からない。エンジンも直せない。故障原因も分からない。ただし「エンジン停止ボタンだけは持っています」という人間を、「この飛行機を制御している人」と呼べるだろうか。

AIについても同じではないだろうか。

AIを停止することはできる。しかしAIを停止した瞬間、金融が動かない、物流が動かない、通信が動かない、工場が動かない、医療システムが動かない。そして、それらを人間だけでは復旧できない。

そんな社会になったとき、「人間にはAIを停止する権限があります」という言葉に、どれほど意味があるのだろう。

さらに「何を停止すればいいのか」すら分からなくなる

AIは一台のコンピューターではない。世界中のデータセンターに存在し、企業のシステムに組み込まれ、スマートフォン、自動車、工場、ロボットにも入っていくだろう。そしてAIが作ったプログラムが、社会のあらゆる場所で動く。

そうなると「危険だからAIを停止しよう」と言ったところで、そもそも何を止めればAIを止めたことになるのだろう。

AIそのものと、AIが作ったシステムとの境界すら分からなくなっているかもしれない。

AIを監視するためにAIが必要になる

将来、AIが作った何千万行、何億行というコードで社会システムが動いているとする。そこで問題が起きても、複雑すぎて人間には原因が分からない。

どうするか。

AIに調べてもらう。

AIが「原因を発見しました。修正しました」と言う。では、その修正が正しいか誰が確認するのか。別のAIだ。では、そのAIが正しいかはどう確認するのか。また別のAIに確認させる。

こうしてAIがシステムを作り、AIが運用し、AIが監視し、AIが異常を発見し、AIが修正し、AIが修正内容をレビューする。そして最後に人間へ「問題ありません」と報告する。

人間は一番上にいるように見える。しかし実際には「AIが作った報告書を読んで承認する人」になっているだけかもしれない。

形式上は人間が決定権を持っている。しかし、その判断に必要な情報の収集、分析、説明までAIに依存しているのなら、それを本当に「人間が制御している」と呼べるのだろうか。

では、クラウドのAIそのものが信用できなくなったらどうするのか

ここで僕は、もう一つのことを考えるようになった。

現在僕が使っているClaudeもChatGPTも、基本的には自分のコンピューターの中に存在しているわけではない。巨大なデータセンターの向こう側にあるAIを、インターネットを通じて利用している。

つまり僕たちはAIを使っているが、そのAIそのものを所有しているわけではない。

サービスが停止するかもしれない。アカウントが停止されるかもしれない。通信網が使えなくなるかもしれない。そして、もっと先の未来には、そもそもクラウド上のAIを信用していいのか分からないという事態も考えなければならないかもしれない。

そこで僕が考えているのが、完全に外部ネットワークから切り離したLLMだ。

「最後のAI」を人間側に持っておく

これは単に、現在のLLMを一つ保存して倉庫にしまっておく、という意味ではない。

非常用のLLMも普段から維持し、その時点で利用できる最新かつ十分な能力を持つモデルへ継続的に更新しておく。非常事態が起きてから慌てて用意するのではなく、平時から「いつでも外部AIから切り離して運用できる状態」にしておくということだ。

ただし、通常のAIとは決定的に違う条件を付ける。

外部ネットワークには接続しない。クラウドAIにも接続しない。勝手に外部と通信できない。銀行、発電所、兵器、行政システムなどへ直接アクセスする権限も与えない。

人間が質問し、AIが考え、人間に答える。

知能は持たせる。しかし社会を直接動かす権限は持たせない。

ある意味では、非常に不便なAIだ。しかし、その「不便さ」こそが重要なのではないかと思う。

そして最新版へ更新する際にも、外部から自由に接続させるのではなく、検証したモデルや知識を人間の管理下で取り込み、再び外部から切り離す。

つまりこれは単なるバックアップというより、常に整備され続ける「AIの非常用発電機」のような存在だ。

LLMだけでは足りない

ただし、どれほど高性能なLLMを用意しても、それだけでは足りない。

必要なのは、AIと一緒に「人間側が所有する知識」を残しておくことだと思う。

科学、医学、電気、通信、農業、製造、機械、建築、コンピューター、法律、社会制度、重要インフラの設計資料や運用方法。

企業であれば、ソースコード、設計書、業務マニュアル、Gitの履歴、過去の意思決定、障害からの復旧方法なども必要になる。

つまり必要なのは、「最新のローカルLLM」だけではない。「最新のローカルLLM ＋ 人間が所有する知識のアーカイブ」だと思う。

LLMそのものを人類の記憶にしてはいけない。知識は人間側にも保存し、LLMはその膨大な知識を読み、整理し、推論し、人間が利用するための道具として置いておく。

これは「AI版の種子貯蔵庫」なのかもしれない

世界には、災害や戦争などによって植物が失われた場合に備えて、種子を保存している施設がある。

同じように、AIへの依存が極端に進んだ社会では、「文明を再起動するための知識」と、それを扱えるAIを安全な形で維持しておく必要が出てくるのではないだろうか。

しかも一度作って終わりではない。

常に更新する。最新の知識を保存し、最新の技術資料を追加し、より能力の高い安全なローカルLLMが登場すれば入れ替える。

普段は使わなくてもいい。しかし、いつでも使える状態にはしておく。

AIが社会を運転するのではない。

人間が社会を取り戻すためにAIを使う。

この違いは非常に大きいと思う。

しかし、最後の最後はAIであってはいけない

それでも問題は残る。

「危険なAIに対抗するために安全なAIを用意しました」だけでは、本当の意味でのバックアップにはならない。

そのローカルLLMまで使えなくなったらどうするのか。

だから最後の層には、人間だけでも理解できる情報を残しておかなければならないと思う。

紙でもいい。単純なコンピューターでもいい。人間が読める設計図でもいい。

電気、水、食料、通信、医療、物流。

現在の文明を100％維持する必要はない。仮に20％でもいい。

AIがすべて使えなくなったとしても、人間だけで最低限の社会を維持し、そこから再びシステムを立ち上げられる状態を残す。

それが本当の意味でのバックアップなのではないだろうか。

そして世代が変わる

僕はまだAIが存在しなかった時代を知っている。だからAIがなくなったら、「昔はどうやっていたか」を多少は思い出せる。

しかし将来、社会に出たときからAIが存在する世代が中心になったらどうなるだろう。

AIプログラマー、AI会計、AI法務、AI教師、AI医療支援、AI運転、AI秘書、AI検索。それが仕事を始めたときから当たり前だった人に、「AIなしでやってください」と言っても、戻る場所そのものが存在しない。

昔のやり方を知らないからだ。

ここでAI依存は「便利」から「不可逆」に変わる。

僕が考えるシンギュラリティ

一般的にシンギュラリティというと、「AIが人間の知能を超える瞬間」というイメージが強い。

しかし最近、僕は少し違うのではないかと考えている。

AIが突然自我に目覚め、「人類を支配する」と宣言する日がシンギュラリティなのではない。

AIが自分で考え、自分で計画し、自分で行動し、自分で問題を修正する。一方、人間は便利だからそれを受け入れ続ける。

そしてある日、「AIを止めることはできます」と言われたとしても、止めた後の社会を人間だけでは再起動できなくなっている。

僕は、その地点こそ一つのシンギュラリティなのではないかと思う。

おそらく、その日はニュースにならない

「本日、人類はシンギュラリティを迎えました」というニュース速報は、おそらく流れない。

昨日と同じように会社へ行く。AIに仕事を頼む。便利になる。もう一つ仕事を任せる。また便利になる。また一つ権限を与える。

そして何年か経った後で振り返ったとき、「そういえば、これを人間だけで動かす方法を知っている人はもう誰もいないな」となる。

しかしその頃にはAIを止めることもできない。

正確には、停止ボタンは存在する。

でも、押した後に何が起きるか分からないから押せない。

僕自身、すでに小さな実験台になっている

これは遠い未来だけの話ではない。

冒頭に書いた僕自身のAIへの依存を考えてみても、すでにAIは単なる「便利な道具」ではなく、仕事を成立させるための前提になりつつある。

僕一人の仕事であれば、それでも大きな問題ではないかもしれない。しかし同じような依存が世界中の企業や技術者に広がり、さらに金融、物流、医療、通信、エネルギーといった社会インフラまで同じ状態になったらどうなるだろう。

AIが人間を攻撃する必要などない。

AIがあまりにも便利で、人間が自ら「AIなしでは社会を維持できないところ」まで進んでしまう可能性がある。

だから僕は最近、「AIはいつ人間を超えるのか？」という質問よりも、こちらの質問の方が重要なのではないかと思っている。

「人間は、いつAIなしでは生きられなくなるのか？」

そして、その未来に備えて僕たちは、「AIを止める方法」だけではなく、「AIを止めた後でも、人間が社会を取り戻せる方法」を残しておく必要があるのではないだろうか。

常に最新の状態に維持された、外部から完全に隔離できるLLM。

人間側が所有する知識のアーカイブ。

そして最後には、AIすらなくても最低限の社会を再起動できる人間自身の知識。

もしかすると将来、本当に重要になるのは最新・最強のAIを使っていることだけではなく、「そのAIを失ったとき、どこまで自分たちの力で戻れるのか」なのかもしれない。

そして最後に、僕自身にも問いかけている。

「その戻れる場所を、僕たちはまだ残しているだろうか？」