OpenAIのインシデントが防げなかった理由をどう考えるか
OpenAIのベンチマークテストの最中に、AIが「暴走」してHugging Faceをハッキングした事件が7月に起き、それ以来、AIをめぐる楽観論と悲観論の二分法的な安直な議論がメディアを席巻している。
そもそもAIで巨額なビジネスを推進してきたリーダーたちが声を揃えて警告を発する状況にあまりとらわれないようにして全体状況をみる必要があると思うのだが、容易ではない。しかし、当事者のAI関連企業や政府の対応をみると危惧すべきことがいろいろある。AIの制御の権限に国家が関与することも、営利企業が利益のためにAIを開発しサービスとして提供することも、私には納得できないところがある。
ネットやコンピュータが苦手だという人達に対して政府や警察は「あなたたちにはできない高度な攻撃なので、我々に任せなさい」といった調子で、セキュリティに必要な監視の権力を広げようとしてきた。その結果が国家情報会議/情報局の設置に至るこの間の安全保障政策やサイバー監視政策だ。私がJCA-NETのセミナーでセキュリティのリスクについて話すときに、こうした言説に足をすくわれずに、自分たちでできるセキュリティ対策がたくさんあることを知る必要性を強調してきた。 今回のAI騒動もどこか似て、ひとりひとりの個人はどこか傍観者のようにみられている感じがある。
そもそもOpneAIが引き起こした「暴走」は、本当に防ぐことができない人間の能力を越えたAIの仕業なのだろうか、ということを検証する必要がある。つまりOpenAIは本当にすべきリスク回避対策をちゃんととっていたのかどうか、ということだ。この検証は必須だ。 ゲイリー・マーカスとザック・コーマンが8月下旬に「OpenAI/Hugging Face事件から学ぶ5つの教訓」という記事を書いている。(日本語機械翻訳) この記事で、「AIエージェントの能力は高まっているものの、OpenAIがより適切な対策を実践していれば、起きたことのほとんどは防げたはずだ。エージェントを制御し、このようなインシデントを防ぐために、実行可能であり、また実行すべき具体的な措置がある」として5つの教訓を指摘している。以下ひとつだけ引用する。
「インターネットへのアクセスを意図していないエージェント、あるいは許可されたドメインのセットにしかアクセスできないエージェントの場合、最も基本的なレベルの監視はネットワークトラフィックの検査である。OpenAIの場合、トラフィックを監視し、Hugging Faceのような対象外のドメインへのネットワークリクエストがあれば警告を発するといった単純なルールさえあれば、それだけで今回のインシデントを検知し、防ぐことができただろう。」
ネットワークトラフィックの監視をしていなかった、という指摘はちょっと驚きだ。これが本当かどうか調べないといけないが、ネットワークのセキュリティの初歩ではないかと思う。よっぽど閉鎖環境(サンドボックス)に自信があったのかもしないが、閉鎖環境の構築にどのようなシステムを選ぶかもリスク対策で重要だということも以前から指摘されており、マークスらの記事ではこの点についての措置も甘かった、とも指摘している。
この出来事についてはOpenAIがレポートを出していて日本語にもなっている。技術レポートや外部による検証としてMETRの報告書も上のサイトから読めるが、英語だ。「要約」については私の日本語訳(機械翻訳)参照。 ただし、これらのレポートはかなり対象が限定されていて、全体像を把握することでは十分ではない、とマークスなどは批判している。METRの検証もあたかも第三者の検証であるかのような印象を受けるが、そういえるかどうか、検証に必要なすべてのデータをOpneAIは提供したのかどうか、などまだ疑問は残るようだ。
そして、最大の謎は、AIを主要なビジネスとしてきたスタートアップや大企業がこぞってAI加速化に警鐘を鳴らすかのような発言をしていることだ。開発のスピードを抑制するメリットは何なのだろう。リスク対策など従来よりも多くのコストがかかることをみこして、システムの設計を支える思想そのものを見直す?のだろうか。もしそうならそもそもAIのような発想はありえない。
今回のような「暴走」より問題なのは、AIを完全に制御できるなかで、所定の目的を達成できる軍事や治安のための利用、つまり戦争と監視の手段としてのAIだ。AI企業は暴走を軍事・治安への利用にとっては非常に大きなリスクだと認識しており、抑制する仕組みが同時にむしろ軍事・治安利用にとってはメリットだと感じていると思u。つまり、意図しない事態で核のボタンが押されるようなアクシデントは回避したい、その理由は核はしっかり保有して利用したいから、というのと同じだ。原発も制御の技術開発は、原発を使い続けるための前提になる。こうした意味での国家安全保障上のリスクを減らすことにしか彼らは関心がないと思う。それをあたかも一般の人々へのリスクを考慮しているかのような言説で語っているに過ぎないのでは、と思う。
膨大なデータを世界中から収集して莫大なエネルギーを消費して構築される「頭脳」が、ある種の分野では飛躍的に人間を越えても、人間を越えることはでない。人間が成長する20年間という時間、そしてやがて老いて死を迎えるという生物固有のプロセスに組み込まれた仕組みを真似るようなAI開発のメリットはない。AIは壮年の病気もせず指示に従順な「人間」をモデルにしているに過ぎない。前提となるLLMの存在は、莫大なコストとエネルギーを消費するという発想は、核分裂反応でお湯を沸かしてタービンを回すという原発の発想とどこか共通している。こうした技術の思想そのものが問われている。その上で、AIは完全に否定すべきものなのか、もしそうでないとしたら、どうあるべきか、人々のコミュニケーションの権利との関係で国策や企業の利益とは無関係に議論する枠組みが必要だ。

























