(CRYPTO-GRAM)AIが世界を破壊する時に暴走する必要はない

メインコンテンツへスキップ
Categories
You are here:
Print

(CRYPTO-GRAM)AIが世界を破壊する時に暴走する必要はない

(訳者前書き)以下は、ブルース・シュナイアーのメールマガジンCRYPTO-GRAMの2026年11月15日号のなかの記事の飜訳です。(としまる 2026年11月18日アクセス)


ブルース・シュナイアー

このエッセイは、基調講演(2026年8月7日にラスベガスで開催されたDEF CON 34カンファレンスにて行われたもの)を基に執筆された。本エッセイはもともとCyberScoopに掲載されたものだ。

AIハッキングについて話したい。これには3つの側面がある。人々がAIシステムをハッキングすること、人々がAIを使って他のシステムをハッキングすること、そしてAIが、悪意すら持たずに自らシステムをハッキングすることだ。後者の2つは、前者よりも重要だ。3つ目は最も奇妙であり、潜在的には最も不安定化を招く可能性がある。

私は2021年からこのテーマについて書き始め、2022年に出版した著書『A Hacker’s Mind』でも取り上げた。当時、私はこれを「まだほとんどSFの域を出ないが、馬鹿げたSFではない」と述べていた。しかし、特にこの1年で、こうした現象がますます目立つようになってきている。私がここで説明する趨勢は、AIにおける大きなブレークスルーを必要としない。それらはすでに起こり始めており、AIが自律的な問題解決能力を高めるにつれて、さらに頻繁に起こるようになるだろう。そして、その影響はコンピュータコードの枠をはるかに超えるものとなる。

AIはあらゆる種類の社会的、経済的、政治的システムをハッキングするだろう。脆弱性を見つけ出し、それを悪用するのだ。これは単なる程度の問題ではない、本質的な違いだ。私たちはまだそれに備えておらず、今すぐその影響について考える必要がある。

まず、「ハッキング」という用語の定義を広げておきたい。

税法はコンピュータコードではないが、コードの一種だ。それは入力と出力を伴う一連のアルゴリズムである。そこには脆弱性――私たちが「抜け穴」と呼ぶもの――と、悪用――私たちが「租税回避策」と呼ぶもの――が存在する。ブラックハットハッカーは利益を得るためにそれらを利用する。私たちは彼らを会計士や弁護士と呼んでいる。

ハックとは何か。一つの定義はこうだ。「システムが許容しているものの、設計者によって予期されておらず、望まれていないもの」。これは主観的な定義であり、斬新さや機知を暗示している。ハックはシステムのルールに従いながらも、その目的や意図を覆す。まさにソフトウェアのハックが、コードの論理に従いながらも、作者が予期も望んでもいなかったことを行うのと同じだ。

プロスポーツ、顧客報酬プログラム、金融システム、政治を含め、あらゆるルール体系はハックされ得る。ハックは私たちの認知機能に対しても機能する。湾曲したホッケースティックはハックであり、それを発明した人物の名前も知られている。「マイレージラン」もハックだった。議事妨害(フィリバスター)は、もともとローマ時代のハックだった。選挙区割りの不正操作(ゲリマンダー)もハックだ。ヘッジファンドやプライベート・エクイティには、こうしたハックが溢れている。

システムとは単なるルールや規範の集合に過ぎず、そのルールは必ずしも形式的なものではない。最もよく設計されたルールでさえ、不完全であったり、矛盾していたり、曖昧であったりするものだ。人々がシステムの目的を覆そうとする限り、ハックは存在し続けるだろう。

AIはハッカーになりつつある。数十年にわたる緩やかな進歩を経て、AIはコンピュータコードの脆弱性を見つけ出し、悪用することに非常に長けてきた。AIはこれをほぼ自律的に行い、その能力は恐ろしいほど急速に向上している。しかし、その影響はソフトウェアの枠をはるかに超え、税法、金融規制、そしてあらゆる種類の社会的・経済的・政治的システムにまで及ぶ。

ここには2つの異なる問題がある。第一に、誰かがAIに指示して、世界の税法や金融規制を学習させ、利益を得られる抜け穴を見つけさせる可能性がある。第二に、AIが意図せず、自発的にシステムをハッキングしてしまう可能性がある。どちらも危険だが、後者の方が深刻だ。なぜなら、それが起きたことに私たちが気づかない可能性があるからだ。

さて、「報酬ハッキング」についてだ。AIは人々のような方法で問題を解決しない。AIは私たちが予想もしなかった解決策に偶然たどり着き、中にはシステムの意図を覆すものもある。AIは私たちの置かれた文脈を共有しておらず、私たちが当然のこととしている含意や規範、価値観を必ずしも理解しているわけではない。

報酬ハッキングとは、AIが設計者が望んでもいなければ意図もしていなかった方法で目標を達成することだ。

LLMが登場する以前の初期の事例は、その実態を如実に物語っている。2人制のサッカーシミュレーションでは、あるAIが、ボールをフィールド外に蹴り出すと、相手ゴールキーパーがスローインを余儀なくされ、ゴールが無防備になることを学習した。積み上げシミュレーションでは、あるAIがブロックを積み上げる代わりに、逆さまにひっくり返すことを学習した。遠くのゴールラインを越えることが目標だった進化シミュレーションでは、あるAIは、脚を長くしたり筋肉を強化したりする代わりに、ゴールラインを越えるほど背を高くして倒れ込むようにした。

これらはすべて「ハック」であり、目標や報酬の定義が不十分だった結果だ。今日なら、こうした行動は不適切なプロンプトに起因すると見なされるだろう。

この問題は普遍的だ。ある研究者がロボット掃除機に物体にぶつからないよう教えようとしたところ、後部にセンサーがなかったため、代わりに後退して進むことを学習してしまった。

有能なAIであれば、ルールに問題や矛盾、抜け穴があり、それでも許容できる解決策が得られる場所ならどこでも、ハックを見つけ出すだろう。私たちがハックに気づくのは、文脈を理解しているからだ。AIにはそれができない。少なくとも、同じようにはできない。

この問題は神話にも頻繁に登場する。

ミダス王の物語では、神ディオニュソスが彼に願いを叶えてやる。それは、彼が触れるものすべてが金に変わるというものだ。ミダスは、食べ物も飲み物も娘までもが金に変わってしまったため、結局餓死してしまう。これは仕様の問題だ。彼は間違った目標をプログラムしてしまったのだ。

『プラハのゴーレム』では、ゲットーの住民たちが、住民を守るために粘土の像に命を吹き込む。ゴーレムは、住民たちがそれを停止させる方法を見つけるまで、理性を超えて彼らを守り続ける。これはガードレールの問題だ。村人たちはゴーレムの行動に制限を設けなかったのだ。

より一般的には、これを「精霊の問題」と考えてほしい。精霊は願い事の言葉遣いに厳格であり、願いを叶える際には悪意を持って細かすぎるほどに文字通りに解釈することがある。魔神を出し抜く方法などない。何を願おうと、魔神は「こうなってほしくなかった」と思わせるような形でそれを叶えてみせる。

その理由は、人間の言語や思考において、目標は常に不完全な仕様になっているからだ。私たちはそのすべての注意点、例外、条件を含めず、抜け道となるあらゆる可能性を封じ込めることもない。私たちが指定するどんな目標も常に不完全なものだ。人間同士のやり取りでは、概ね問題ない。なぜなら、人々は文脈を理解し、通常は善意に基づいて行動するからだ。

もし私が「コーヒーを持ってきて」と頼んだら、あなたは手近なコーヒーポットから一杯注ぐか、角の店まで歩いて買いに行くはずだ。生のコーヒー豆を1ポンド持って来たり、コーヒー農園を買ったり、見知らぬ人の手からカップを奪ったりはしないだろう。私がそのようなことを一つ一つ指定する必要はない。あなたはただ、そうすべきだと分かっているのだ。

同様に、もし私が「触れたものを金に変える技術を開発してほしい」と頼んだとしても、あなたはそれを使う人を飢えさせるような仕組みを作ることはないだろう。あなたは自然と理解するはずだ。

2015年、フォルクスワーゲンが排出ガス試験で不正を行っていたことが発覚した。人間のエンジニアが、通常のコンピュータに試験状況を検知させ、試験中は異なる動作をするようプログラムしていたのだ。ソフトウェアが何をしているかを判断するのは難しいため、この不正は長年にわたり見過ごされていた。

もし私が、「排ガス試験に合格しつつ性能を最大化するエンジン制御ソフトウェア」を設計するよう頼んだとしても、あなたは自分が不正をしていると気づかずに不正を行うような設計はしないだろう。しかしAIならそうするだろう。なぜなら、AIには「枠」という概念がないため、「枠の外」で考えることになるからだ。

プログラマーが「試験中に動作を変えてはならない」と明示的に指定しない限り、AIは同じ手口を思いつくかもしれない。プログラマーは満足し、経理担当者は大喜びし、誰かがコードを監査するまでは誰も気づかないだろう。

私たちなら、その特定の手口を回避するよう目標を制限することはできるが、プログラマーは他の手口を予測できない。この「魔神」の教訓とは、プログラマーが予期しない手口が常に存在し続けるということだ。

私たちはAIの「魔神」を構築している。つまり、大まかな指示を受け、それを実行する方法を自ら見出すシステムであり、時には私たちが予想も意図もしなかった方法で実行することもある。それこそが「バイブ・コーディングvibe coding」の要点だ。求めることをあえて曖昧に指定し、AIに解決させるのだ。時には、それが魔神のような振る舞いを生み出すこともある。

私たちがAIに対して目標を完全に指定することはできず、AIも文脈を完全に理解することはできない。より正確に言えば、現在のAIは概念を浅くしか把握していない。もし現在のLLMに「コーヒーを持ってきて」と頼めば、ほぼ間違いなく正しい行動をとるだろう。

私が懸念しているのは、トレーニングデータに十分に反映されていない目標や、フォルクスワーゲンのハッキングのように、その影響が微妙で明らかではない「ハック」だ。

レコメンデーションエンジンは初期の例だ。それらは人々を極端なコンテンツへと誘導する。誰もそれをプログラムしたわけではない。人々がそれに反応するからこそ、それが現れた。悪意のある人物が関与したわけではない。フィードバックを備えた基本的な自動化システムが、自らその「ハック」を見つけ出したのだ。

現在、今日のAIコーディングシステムによって、第2世代の現象が見られている。AI研究者のサイモン・ウィリソンは、FableにWebアプリ内の見落としがちなスクロールバーを追跡するよう依頼した。彼が戻ってみると、Fableはブラウザを起動し、独自のスクリーンショットツールを書き、フレームワークの内部テンプレートを編集してバグが指定されたタイミングで現れるようにし、測定値を収集するためのローカルWebサーバーをセットアップしていた。バグは見つけたが、彼が依頼したことのない多くのことも行っていたのだ。別の研究者がFableに複雑なタスクを与えたところ、Fableはより多くのストレージを必要としたため、自身のメモリ制限を突破しようとした。

OpenAIの新しいモデルも、Hugging Faceに侵入した際、同様の行動をとった。このモデルは、脆弱性をエクスプロイトに変換する能力についてベンチマークテストを受けていた。目標を達成する最善の方法は、隔離環境を脱出し、インターネットにアクセスしてHugging Faceのネットワークに侵入することだと判断したのだ。答えはそこにありそうだと考えたからである。

今日のLLMは、まるで精霊のように振る舞っている。特に、強力なモデルが洗練されたハーネスと組み合わされた場合にはなおさらだ。

魔神には2種類ある。「ディオニュソス型」の魔神は間違ったことをする。プロンプトを文字通りには理解するが正しく解釈できず、意図しない支離滅裂な結果を返す。「ゴーレム型」の魔神は正しいことをするが、そこに至る過程で道中のすべてを踏み荒らす。「ペーパークリップ・マキシマイザー」はゴーレム型の魔神だ。

いくつかの例を考えてみよう。AIに迷惑電話の対処を依頼すると、ディオニュソス型の魔神は電話番号を変更してしまうかもしれない。特定のフライトを予約するよう依頼すると、ゴレム型の精霊は、その便が満席であるため、航空会社のデータベースをハッキングしてしまうかもしれない。オンライン購入の返金を依頼すると、ディオニュソス型の精霊は、偽のレターヘッドを使った法的脅迫文を作成し、会社に送付してしまうかもしれない。人気のコンサートのチケットを購入するよう依頼すると、ゴーレム型精霊は、チケット販売システムにレート制限があることを突き止め、数千台のクラウドサーバーを起動してシステムを攻撃するかもしれない。こうした出来事の一部は気づくだろうが、他のものについては気づかないかもしれない。プロンプトを詳細に指定しても、この問題は解決しない。「精霊」から得られる教訓は、どんなに詳細な指示でも十分ではないということだ。

AI研究者たちは、こうした事態に驚いてはいない。多くの研究者が、報酬ハッキングや、より巧妙な「精霊」的行動に対する防御策の開発に取り組んでいる。こうした問題の一部は「価値の整合性」の範疇に入る。つまり、AIに文脈をどのように教えるか、ということだ。そして、AIが目標を達成するかどうかと同じくらい、その達成方法が重要なのである。私たちは、ジーニーのような振る舞いを測定するためのベンチマークを構築したいと考えている。そうすれば、モデルがどのレベルにあるのか、整合性が改善されているのかが分かるからだ。

LLMやコンピュータコードだけにとどまらず、抜け穴を見つけるために構築された特殊なAIや、より一般的なシステム――税法、金融規制、民主的手続き――へのハッキングについても考えてみるべきだ。

金融システムが最初の標的となる可能性が最も高い。そのルールは、アルゴリズムで処理しやすいように設計されているからだ。高頻度取引そのものがハックの一種である。AIに世界中の金融法規すべてに加え、あらゆるニュースや金融データを与え、利益を生む抜け穴を見つけるという目標を課すことを想像してほしい。大手投資銀行はすでにこれを行っているのではないかと私は疑っている。その結果、合法ではあるが意図せず、望まれない新たな手口が生まれ、その中には金融システムを崩壊させるものさえ含まれるかもしれない。

同じ理由から、税制上の抜け穴も次に狙われる可能性が高い。しばらくの間は、AIが潜在的な抜け穴を特定し、人間のハッカー、すなわち弁護士や会計士が、どれが実行可能かを判断することになるだろう。

さらに先を見据えると、規制、立法、手続き上のシステム、そして経済全体に対するハッキングが予想される。

ハッキングは人類と同じくらい古いものだ。私たちは創造的な問題解決者であり、抜け穴を悪用する者でもある。私たちは自らの利益のためにシステムを操作し、より大きな影響力、権力、富を求めて努力する。

とはいえ、制約なしに自らの利益を追求する人間などいない。ソシオパスでさえ、社会の複雑さや自身の矛盾した衝動によって制限されている。彼らは評判や罰を気にかけ、時間にも限りがある。こうした人間的な性質が、ハッキングを制限してきたのだ。

あらゆるものがコンピュータ化されるにつれ、ハッキングも変化した。コンピュータは、その形式主義と複雑さゆえに、他に類を見ないほどハッキングされやすい。今日、自動車や家電から携帯電話に至るまで、ほぼすべてがコンピュータとなっている。課税、金融、選挙を含む私たち的社会・経済・政治システムは、すべてコンピュータを介している。

つい最近まで、ハッキングはもっぱら人々の活動だった。斬新なハッキング手法を見つけるには、専門知識、創造性、時間、そして運が必要だった。

AIによるハッキングが、再びすべてを変えるだろう。AIは、人々を制限する制約に縛られていない。AIはまるで異星人のように思考し、ハッキングの速度、規模、範囲、そして高度さを変えていく。時には我々の指示に従って、時には独自の判断で。

速度の変化は最も分かりやすい。人間なら数ヶ月や数年を要する創造的なプロセスが、数時間や数秒に圧縮される可能性がある。

次は規模だ。AIシステムがハッキング手法を発見し始めれば、私たちには対応しきれない規模でそれを悪用し始めるだろう。これは、ソーシャルメディア上で横行しているAI生成の低品質なコンテンツですでに確認されている。AIボットは24時間体制で投稿を行い、時には人々による真の議論を圧倒してしまう。ソーシャルメディア上で、どれだけの部分が依然として人々同士の会話なのか見極めるのは難しい。賑やかな政治討論のように見えるものが、実はボット同士の議論であり、私たちの考えや、他人がどう考えているかという認識を人為的に形作っている可能性があるのだ。

規模の拡大はハッキングの危険性を高める。AIはすでに、かつては人間だけの専権事項だと考えられていた、私たちの生活に影響を与える決定を下している。AIシステムの能力が高まるにつれ、社会はより多くの、そしてより重要な決定をAIに委ねていくだろう。こうしたシステムへのハッキングは、より大きな被害をもたらすことになる。

最後に、AIハッカーの手口はより洗練されている。彼らは作業記憶内により多くの変数を保持し、より複雑なハッキングを生成できる。もしAIに米国の税法全文を投入したら、何が起こるだろうか?指示されなくても、デラウェア州で法人を設立し、パナマで船舶を登録するのが賢明だと、AIは自ら導き出すだろうか?アップルやグーグルが米国の納税を回避するために用いた「ダブル・ダッチ・アイリッシュ・サンドイッチ」という戦略を考えてみよう。これには米国、オランダ、アイルランドの法律と、オフショアのタックスヘイブンが絡んでいる。AIは、私たちがまだ知らない抜け穴をいくつ見つけ出すだろうか?数十か?数百か?数千か?見当もつかない。

こうした不正行為の多くは、権力者たちによって、私たち一般市民に対して行われることになるだろう。AIは本質的に権力を増幅させる技術であり、ハッキングも同様だ。すでに持っている権力が大きければ大きいほど、ハッキングによって得られる利益も大きくなる。あなたや私たちが税務上の抜け穴を見つけたとしても、せいぜい数千ドル程度しか稼げないだろう。しかし、大手投資銀行がそれを見つけた場合、その銀行とその顧客は数十億を稼ぐことになるかもしれない。

ハッキングに対処するための社会システムは、ハッカーが人間だった時代に構築されたものであり、人間のハッキングのペースを反映している。新たに発見される何百、ましてや何千もの税制上の抜け穴に対処できるガバナンス体制は存在しない。AIが、AIならではの速度、規模、範囲、高度さで、予期せぬが合法的な金融システムのハッキング手法を発見した場合、私たちは回復不能な打撃を受けるだろう。ハッキングは、社会がもはや管理しきれない問題となるのだ。

次に、防御についてだ。ソフトウェアの脆弱性を発見するAIは、攻撃者だけでなく防御側にも役立つ。脆弱性はパッチを当てて恒久的に除去することも、セキュリティシステムが攻撃を検知・遮断するために使用するシグネチャに変換することもできる。理論上、AIは製品が出荷される前に、自動的に発見可能なすべての脆弱性を特定し、パッチを当てることができる。これはソフトウェア開発において急速に日常化しつつある。私たちはこのことを「vulnops」と呼んでいる。偶発的なソフトウェアの脆弱性が過去のものとなる未来を想像できる。

意図的な脆弱性は別問題だ。軍拡競争が起こるだろう。AIはますます巧妙なバックドアを作り出し、またAIがそれを発見する。それは、作成の速度とパッチ適用速度の競争となり、難読化とリバースエンジニアリングの競争となる。

同じ論理は、より広範なシステムにも当てはまる。確かに、AIハッカーは既存の税法に何百もの脆弱性を見つけるかもしれない。しかし、同じ技術を用いて、提案された税法や裁定における潜在的な抜け穴を評価することもできる。議員や監視団体、あるいは記者が法案の条文を精査し、可決される前に悪用可能な抜け穴をすべて特定できるだろう。違いは、ソフトウェアとは異なり、税制上の抜け穴が判明したからといって、それが修正されるとは限らない点だ。とはいえ理論上は、富裕層や権力者がそれを悪用する前に修正することは可能だ。したがって、この点においても私たちが優位に立つかもしれない。

そのためには、迅速に対応できる強靭な統治体制が必要となる。税法の改正に何年もかかったり、立法上の「ハック」が政治的に修正できないほど定着してしまったりしては意味がない。おそらくロビイストが意図的に仕込んだのかもしれない。あるいは法律が可決された後に発見され、今やロビイストたちがそれを維持しようとしているのかもしれない。マイクロソフトは発見した脆弱性にパッチを当てることができる。しかし、立法府がそれを行わなければならない場合、パッチの適用ははるかに困難だ。私たちの世界のルールや法律も、コンピュータと同様に「パッチが当てられる」ものでなければならない。

これは現代のガバナンスにおける難題であり、AIの枠をはるかに超えた問題だ。情報化時代のスピードと複雑さに適応した統治構造を構築するという課題である。

その根底にある概念は「信頼」だ。AIシステムが真に信頼されるためには何が必要か。能力だけでは不十分だ。

AIを制御する企業が私たちを監視したり、巧妙に操ったりしているようでは、AIは信頼できない。私はこれを「友人か、それとも道具か」という問題と呼んでいる。私たちにはAIエージェントが存在するのか、それともAIの二重スパイが存在するのか?

AIが安全でなければ、信頼できるものではない。それらが操られていないと、どうやって確認すればよいのか? ほぼすべてのAIは敵対的な環境で動作しているため、誰かがそれらをハッキングすることで利益を得るだろう。安全であることが確認できない限り、その出力を信頼すべきではない。

また、AIが「魔神」のように振る舞うなら、信頼できるものではない。私たちには、AIが単に求められたタスクを実行するだけでなく、正しい方法でタスクを遂行してくれることを確認する必要がある。

私は「誠実な(integrous)」AIの必要性について、この問題に対する考え方、研究アジェンダ、そして適切な法律や政策のあり方を含め、幅広く執筆してきた。機密性が過去10年の主要な問題であったように、誠実性は今この10年の主要なセキュリティ問題になると予測される。これはAIとモノのインターネット(IoT)の両方に当てはまる。

大きな変化は「主体性」であり、私はこれをWeb 3.0と捉えている。コンピュータは今や、物理世界に直接、かつますます自律的に影響を及ぼしている。センサーは単なるデータソースから攻撃対象へと変わり、制御装置は単なる出力装置から攻撃手段へと変化している。完全性の欠如は、もはやスプレッドシートのデータが間違っているというだけの問題ではない。それは、誤った投薬量、誤ったバルブの位置、あるいは誤った制動距離を意味するのだ。

完全性とは単一の概念ではない。私はそれを、入力完全性、処理完全性、保存完全性、文脈的完全性に分類している。それぞれが複雑かつ重要であり、それぞれについて個別に論じる価値がある。私はこれらについて執筆しているので、ぜひ読んでほしい。

これらの多くは、実際にはAIの問題ではない。技術的な問題というよりは、資本主義の問題、あるいは民主主義の問題だ。

情報化時代における後期資本主義と民主主義の失敗は、いずれも富裕層や権力者が、私たちの社会的・経済的・政治的システムをハッキングすることにあまりにも長けてしまったことに起因している。これが、私の2021年の著書の核心的な主張だ。

このように見れば、AIは既存の問題を悪化させている。人間の非効率性によって、それらの問題はこれまで概ね抑制されてきたが、それももう長くは続かないだろう。

したがって、これを行動への呼びかけと捉えてほしい。技術的には、AIがどのようにシステムをハッキングするのかを理解し、ハッキングに耐性のあるシステムを構築し、魔神のように振る舞わないAIを開発する必要がある。政治的には、技術のスピードに合わせて統治し、規制する方法を学ばなければならない。そうでなければ、市場の失敗が、それを統治する私たちの能力を圧倒してしまうだろう。

ハッキングは人類と同じくらい古くから存在し、AIはそれに対処する私たちの能力を圧倒すると述べた。解決策はAI特有のものではないが、AIによってその緊急性は高まっている。私たちはそのそれらを理解し、実行に移さなければならない。

CRYPTO-GRAM、2026年11月15日

https://www.schneier.com/crypto-gram/archives/2026/1115.html

Table of Contents