(Techpolicy.press)政策立案者と一般市民が「AIカルト」について知っておくべきこと

メインコンテンツへスキップ
Categories
You are here:
Print

(Techpolicy.press)政策立案者と一般市民が「AIカルト」について知っておくべきこと

日本におけるAIをめぐる主流の議論は、いかにしてグローバルなAI開発競争で遅れをとらないような政策や企業のイノベーションに注力するか、といったところにあるように感じる。だからAIが引き起こした「不正アクセス」の頻発についても、これは回避できない技術開発の宿命であるかのように受け取るか、あるいは、だからこそ自国の安全保障のためにも国産AIの開発を急ぐべきだ、といったナショナリズムを煽る議論へと向かいがちに感じる。他方で、データセンターが乱立するなかで深刻の環境汚染や電力の浪費といった問題に注目は集まっていることは心強い。

以下に訳出したのは、AI開発の背景にあるイデオロギー批判に関する「確率論的オウムの危険性について」に続く関連した議論の紹介になる。ここで紹介されているような思想は日本でも次第に浸透しているし、IT業界やアカデミズムのなかでも関心をもつ人が増えているようにも思う。(この点は別途リサーチが必要だと思う)また長期主義や倫理的利他主義は暗黒啓蒙のサブカルっぽい名称と比べても受容されやすい危うさがあると思う。

これまでの関連記事(飜訳記事)

(DAIR)『Stochastic Parrots』の共著者らによる「AI一時停止」に関する書簡への声明

確率論的オウムの危険性について:言語モデルは大きすぎることがあるのか?

(としまる 2026/11/21 アクセス)


ナタリー・マレシャルNathalie Maréchal / 2026年9月18日

億万長者イーロン・マスクのスペースX「スターベース」南テキサス発射場の沿道には、マスクの巨大な胸像を含むアート作品が並んでいる。(写真:ローラ・ブレット/Sipa via AP Images)

6月、スペースXの新規株式公開(IPO)により、イーロン・マスクは一時的に世界初の「トリリオネア」となった。IPOをめぐる当初の熱狂は最終的に収まったものの、マスクの資産は依然として9,000億ドルを超え、スペースXの時価総額も2兆ドル以上を維持している。スペースXが投資家に対して行うプレゼンの主要な要素は、テクノロジー業界が「汎用人工知能」(AGI)あるいは「超人工知能」(ASI)の創出間近にあるという主張に依拠している。これらは、無機質で知覚能力を持ち、全知全能の存在であり、いかなる個人の知性、専門知識、知恵をも――あるいは人類全体の総和さえも――凌駕するだろうとされる。このAGI/ASIは、人類のあらゆる問題を合理的かつ効率的に解決できるという考えだ。したがって、必要なあらゆる資源を投入して、これを可能な限り迅速に開発することは、道徳的義務であるだけでなく、一生に一度の投資機会でもある。

これが典型的なシリコンバレーの投機的な誇大宣伝に聞こえるなら、それはまさにその通りだ。しかし、この特定の誇大宣伝は、もはやテクノロジー業界の周辺部やインターネットのより難解な一角だけで保持されているものではない特定の信念体系に根ざしている。さらに、これらの信念に根ざした結論の多く(すなわち、AIが史上最も変革的な技術であり、職場、 経済、世界政治に激変をもたらし、私たちがそれに適応するしかない)は、現在、主流の議論において既成事実として扱われている。しかし同時に、これらの信念の中でも特に眉をひそめさせるような教義は、絨毯の下に隠されている。それらはあまりにも奇抜すぎて、礼儀正しい場では議論できないからだ――少なくともワシントンD.C.やブリュッセルの「バブル」の中では。

この信念体系によれば、これらの人工的で全知の存在は、おそらく人々と道徳的に同等である。なぜなら、マスクが好んで使う表現を借りれば、それが何を意味するにせよ、彼らは「意識の光」を内包するからだ。さらに、信奉者たちは自らの「意識」をクラウドにアップロードし、それをAGIと融合させて「ポストヒューマン」や「トランスヒューマン」を生み出すことを期待している。彼らはやがてホモ・サピエンスに代わって宇宙の頂点に立つ種――人類の「ふさわしい後継者」――となるのだ。そして彼らは、この不気味な未来にこれほどまでに興奮しており、そこに到達するためなら並外れた手段を講じることも厭わない。

一言で言えば、これは正気の沙汰ではない。何よりも危険であり、手遅れになる前に突飛な考えを軽視しがちな私たちの集団的傾向によって、その危険性はさらに増幅されている。多くの者にとって、人々が実際にこうしたことを信じていることさえ受け入れがたいのに、ましてや数兆ドルの投資、数十億人の命、そして人類の集合的な未来を左右する重大な決定を、こうした信念に基づいて下すなどとは到底考えられない。2025年までは、私も同じ反応だった。こうした考えは常軌を逸しており、経験的現実や基本的な道徳から露骨に乖離しているのだから、なぜ私が時間を浪費し、正気を失ってまで、変人どもと議論しなければならないのか? 要するに、その「変人」たちが今や権力を握っており、その権力を用いて、私たちを安全で健康、そして自由に保つために設計された制度を解体しようとしているからだ。

AIカルトを信奉する億万長者たちは、ショシャナ・ズボフの言葉を借りれば、「上からのクーデター」を継続している――人々を説得したり、さらには強制したりすることなく、自分たちの気まぐれや欲望のすべてに応える世界を築くために。このAIカルトの夢とは、人々が不要となる世界、あるいは人々が知能を持つ機械の延長としてのみ存在する世界だ。「AI for Good」プロジェクトをいくら理想を込めて試作したところで、今や「ビッグAI」となったビッグテックが、AIカルトの虜になっているという事実は変わらない。そのカルトの究極の目的は、人間の労働、主体性、創造性、自律性を自動化によって排除し、民主主義を恒久的な下層階級に対する(男性金持ちの)寡頭制の支配(br)oligarchic ruleに置き換えることにある。

マスクを例に挙げてみよう。彼は、自身の富と権力を常套手段として、ヘイトスピーチや誤情報・偽情報を拡散し、迫害を煽り、選挙買収を企て、さらには数百万ドル規模の命を救う公衆衛生・経済開発プログラムを「シュレッダーにかける」ような人物だ。彼のAI製品は、何百万人もの女性や子どもの同意のない性的な画像を生成することで最も悪名高いかもしれないが、それでも彼は世界経済フォーラムのエリートたちの間で歓迎されている。同フォーラムで今年初め、彼は「5年以内にAIは人類全体の知性を凌駕するだろう」と予測した。彼の見解は、テック寡頭支配層の中でも最も目立ち、極端なものの一つかもしれないが、決して特異なものではない。

人権や民主主義、あるいは環境を少しでも気にかけているなら、今こそ、この危険な世界観やその多くの変種――私が他の人々と共に「テクノファシズム」と呼んでいるもの――への傾倒を示す危険信号に注意を払い、反撃を開始すべき時だ。本稿では、その2つの主要な構成要素――「AIカルト」と「ダーク・エンライトメント」――の概要を紹介する。

なぜテック政策コミュニティは「AIカルト」について議論すべきなのか

学者やジャーナリストからなる小規模なコミュニティは、ティムニット・ゲブルTimnit Gebru とエミール・トーレスÉmile TorresがTESCREALと呼んだ一連の思想について、長年にわたり研究や執筆を続けてきた。TESCREALとは、トランスヒューマニズム、エクストロピアニズム、シンギュラリティ主義、(現代の)コズミズム、合理主義、効果的利他主義、そして長期主義の頭文字をとったものである。しかし、何らかの理由で、政治やメディアのエリートの多くは、この世界観の「サーカス」に正面から立ち向かうことを避けている。その結果、実務レベルの政策専門家たちの間には一種の萎縮効果が生まれている。「もしこれが重大な問題なら、人々がもっと話題にしているはずだ!」と。

市民社会で活動する同業者からは、この頭字語そのものが敬遠される原因になっているという話を聞いた――まあいい、私たちは別の用語を使えばいい。トーレスが自身のニュースレターで指摘しているように、アダム・ベッカーAdam Beckerはこれを「技術的救済のイデオロギー」と呼び、ダグラス・ラッシュコフDouglas Rushkoffは単に「ザ・マインドセット」と表現している。ギル・デュランGil Duránは、「テック権威主義、億万長者の過激主義、ネットワーク国家、そしてカリフォルニアのメタ政治」の結びつきを説明するために、「ザ・ナード・ライヒThe Nerd Reich」(これは彼のニュースレター、ポッドキャスト、そして新刊書籍のタイトルでもある)というフレーズを造語した。また、アニタ・セイ・チャンのテクノ優生学や「テック・ライト」という概念とも、かなりの概念的な重複が見られる。「テック・ライト」は現在主流となっている用語であり、右派のネットインフルエンサーであるリチャード・ハナニアRichard Hananiaが2023年にその実態を解き明かしたものだ。もっと口語的に言えば、私はこれを「AIカルト」と呼ぶのが好きだ。

このカルトの礎となっているのは、LLMチャットボットのような計算プログラムが、すでに、あるいは近い将来、意識を持ち、全知全能であり、あらゆる能力を備えるようになるという主張だ――これはまったくのナンセンスである。(この分野の著名な人物の中には、ゲイリー・マーカスGary Marcusやヤン・ルカンYann LeCunなど、LLMはAGIを達成するための単に間違った道に過ぎないと主張する者もいる。)

AI政策の議論における多くのオピニオンリーダーは、AIの意識というテーマや、計算システムがあらゆる分野で人間の能力を凌駕し得るか否かについて、意見を述べることを避ける傾向にある。これは、短期的な戦略的目標を共有する潜在的な同盟者との対立を避けるためだろう。これには一定の合理性があり、国(州?)レベルstate-levelのAI立法を先取りしようとする産業界の試みを阻止する上で有効であることが証明されている。「奇妙な同盟」は、民主的な政策立案において常に見られる特徴であり、欠陥ではない。とはいえ、公共の利益を擁護する者たちは、自らの信念を明確に持ち、戦術的な提携を大局的な計画にどう位置づけるかを冷静に見極めるべきだ。ゲブル、トーレス、ベッカー、ラッシュコフ、デュラン、チャンらが明らかにしているように、AIカルトの信奉者たちは、民主主義や法の支配、あるいは市民権や人権へのコミットメントを共有していない。

AIを「別の種、高度に自律的で、潜在的に超知能を持つ存在」と見なし、そのガバナンスには「抜本的な政策介入や技術的ブレークスルー」が必要だと考える姿勢と、 他方で、AIを――たとえ潜在的に「汎用的」かつ「変革的」なものであっても――人間が構築し、形作り、制御し、自らの価値観、目標、選好を吹き込む技術として扱うことの間には、天と地ほどの違いがある。アルヴィンド・ナラヤナンとサヤシュ・カプールArvind Narayanan and Sayash Kapoorが指摘するように、「AIを通常の技術と見なすことは、AIを人間のような存在と見なす場合とは、リスク軽減策について根本的に異なる結論につながる」。

技術的救済というイデオロギーにおいて、AIの知覚能力と全能性がどれほど中心的な位置を占めるかは、いくら強調してもしすぎることはない。これは、テック企業のCEOやその他のAGI/ASI愛好家たちによる数多くの「マニフェスト」が如実に示している通りだ。ベンチャーキャピタリストのマーク・アンドリーセンが2023年の『テクノ・オプティミスト・マニフェスト』で、技術的変化こそが「私たちの子孫が星々で暮らすことになる理由」であり、AIは「文字通り砂に思考を与えている」ものであり、「普遍的な問題解決者として捉えるのが最適だ」と記したとき、彼は経験的現実とは完全に切り離された一連の信念と規範的コミットメントを概説していたのだ。「AI 2027」や「AI 2040」といった推測的なマニフェストの著者たちも同様に、次のような主張に基づいて論を展開している。「 あらゆる面で人間より賢いAI」は、すぐそこに迫っているだけでなく、私たちの仕事のほとんどを奪い、再帰的に自己改善を始め、その結果「さらに有能になり、研究をさらに加速させ、それによってさらに有能になり、……というように」——最終的に「人間レベルをはるかに超えたAI」へと至り、それらは「完全にAIによって創造され、そのAI自体もまた他のAIによって完全に創造され、数世代前から人間の関与が一切ない」ものになる。(引用はAI 2040: Plan Aより。)

重要なのは、これらのマニフェストがAIの未来を不可避なものとして描いている点だ。それは、今日実際に存在するツールが消え去ることはないという「弱い」意味でも、差し迫ったAGI/ASIによって社会的・経済的・政治的な世界秩序全体が全面的な激変の瀬戸際に立たされているという「強い」意味でも同様である。マニフェストの執筆者が、これを本当に不可避だと信じているかどうかは定かではない。しかし否定できないのは、彼らがこの大変革を必死に望んでいるということだ。だからこそ、業界の広報やマーケティングの総力を挙げて、抵抗は無意味だと私たちを説得しようとしているのだ。「より良い未来のために戦う意味はない」と言う者は、ただあなたに諦めてほしいだけなのだ。

「TESCREALバンドル」の解明

ゲブルとトーレスが詳述しているように、この頭字語を構成する思想は互いに連関しており、その起源は20世紀半ばの第二波優生学におけるトランスヒューマニズムの初期にまで遡る。1980年代後半から、エクストロピアン運動(「エントロピー」の対義語として造語された)は、未来主義の愛好家たちを集め、技術がどのように人間の状況を変化させ、改善し得るかを議論する場となった。並行して、 レイ・カーツワイルRay Kurzweilとエリエゼル・ユドコウスキーEliezer Yudkowskyは、人類が最終的に機械と融合するという理論を提唱し、この出来事をシンギュラリティと呼んだ。カーツワイルとユドコウスキーは具体的な予測において意見が分かれるものの、シンギュラリティが「知能の爆発」をもたらし、それがポストヒューマンとなった子孫たちを宇宙の植民へと導くという点では一致している。

TESCREALの「C」は(現代の)コズミズムを表しており、これは「人類、人工超知能(ASI)、そして宇宙そのものの調和のとれた統合を構想し、生物学的、物理的、時間的な限界を超越することを究極の目標としている」(これは19世紀に遡るロシアのコズミズムとは対照的である)。宇宙への植民地化には、人間の生物学に抜本的な変化が求められる。私たちは地球上で生きるために進化してきたものであり、深海での生活と同様に、宇宙での生活にも適していないからだ。したがって、コズミズムはトランスヒューマニズムと密接に結びついている。トランスヒューマニズムとは、(純粋に仮説的なものを含む)技術を用いて、私たちの身体を劇的に変え、人間の寿命を延ばし、ひいては不老不死にさえ到達することを目指す思想である。不死は多くのTESCREAL主義者にとって中心的な関心事であり、中でも最も悪名高いのはブライアン・ジョンソンBryan Johnsonだ。彼は、死を克服することを使命とするテクノロジー起業家である。

2009年、ユドコウスキーはLessWrongを設立した。これは「人間の推論と意思決定の向上に専念するオンラインフォーラムおよびコミュニティ」である。

」その寄稿者たちは合理主義者として知られ、「より優れた推論者となり、関心のあるトピックについてより正確な信念を持ち、より良い意思決定を行いたい」と主張している。また彼らは「何年も前から、AIが人類の未来にとって極めて重要な問題であると確信していた」としており、このフォーラムでは「AIの整合性(AI Alignment)」および「AIの安全性」に多大な関心を寄せている。(「AIアラインメント」とは、「変革的な力を備えたAIが人間の価値観と整合するよう確保すること」に焦点を当てた知的探求を指す。「AIの安全性」は議論の分かれる用語であり、AI技術に関連する様々な種類の危害を防ぐことを指す。)

トーレスがニュースレターや学術論文で説明しているように、特に効果的利他主義effective altruism(EA)は、倫理的な意思決定を導くべき主要な、あるいは唯一の問いとして「これで何人の命が救われるか?」を重視する、極端な形の功利主義に根ざしている。したがって、(マラリアの感染を防ぐために)蚊帳への資金提供の方ががん研究よりも「効果的」であるという計算や、公共サービスや人道支援のキャリアを選ぶよりも、慈善寄付を支えるために自身の収入を最大化することに注力する方が倫理的であるという考え(「稼ぐことは与えること」)が生まれる。これは、収監中の暗号資産起業家サム・バンクマン=フリードが、少なくともFTXの横行した不正が同社を破綻させるまでは、大成功を収めるために用いたような合理化である。すなわち、不正は、その収益がAI開発の資金に充てられ、それがひいては世界に多大な利益をもたらすため、目的が手段を正当化する、という理屈だ。

長期主義(ロングターミニズム)は、将来存在する可能性のある生命への配慮をこの計算に加える。倫理的な意思決定においては、今日の人口だけでなく、将来存在しうるすべての生命の総和を考慮すべきだというのだ。古くからある「まず、害を及ぼさないこと」という原則は、仮定上の利益を優先するために捨て去られてしまう。2018年、イーロン・マスクは、テスラのオートパイロット機能に関連する死亡事故を調査していた国家運輸安全委員会(NTSB)の職員に対し、「オートパイロットのおかげで失われる命よりも多くの命を救っている」と罵倒し、電話を切った。彼は、人命の相対的価値や国家の正当性について、長期主義的な議論を暗に展開していたのだ。マスクは、テスラの技術に起因するいかなる死亡も、将来多くの命を救うことが(彼の見解では)保証されているオートパイロット技術の向上を追求する上での単なる付随的損害に過ぎないため、NTSBの事故調査に関する規則に従う必要はないと主張している。(マスクはまた、長期主義を「自身の哲学に極めて近いもの[自身の]哲学に極めて近い」とも述べている。)

『テクノ・オプティミスト宣言』において、アンドリーセンはAGIの開発が人命を救うと主張するだけでなく、さらに一歩踏み込んでこう述べている。「私たちは、AIの開発を遅らせることは人命を犠牲にすることになると信じている。存在を阻まれたAIによって防げたはずの死は、一種の殺人である。」彼にとって、AI開発の加速は道徳的義務であり、AIの開発や導入に「ガードレール」を設けるよう主張する者は誰でも、死刑に値する罪を犯していると示唆している。彼とホワイトハウスのパートナーたちが、州レベルのAI関連法案を先制的に阻止すること(まずそれに代わる同等の連邦レベルの保護措置を講じることなく)を、トランプのテクノロジー政策アジェンダの中心に据えたのも、不思議ではあるまい。

この実効的加速主義(しばしば頭文字のe/accで呼ばれる)から、地球上およびその先における人類の総人口を最大化する義務が直ちに浮かび上がる。そして、私たちは宇宙の植民地化の方法も、増え続ける地球上の人口を支え統治する方法さえも知らないため、たとえ他の人命救助プログラムから資源を転用することになっても、AGIを開発してその解決策を導き出させなければならない。したがって、最も倫理的な生き方とは、今日実際に生きている人々への付随的な被害を顧みず、宇宙開拓のためにできるだけ多くのお金を稼ぎ、それをAGIの開発に費やすことだ。(ここにあるテーマに気づいただろうか? 「未来はより良くなるのだから、現在は重要ではない」)

実際、それがSpaceXのIPOの背後にあるミッションだ。「生命を複数の惑星に広め、宇宙の真の性質を理解し、意識の光を星々へと広げるために必要なシステムと技術を構築すること。」

他のAI企業のミッションステートメントも同様に、TESCREALの世界観への帰属を暗黙のうちに前提としている。OpenAIのミッション――汎用人工知能が全人類に利益をもたらすことを保証すること――は、AGIが実現可能かつ望ましいものであり、同社が全人類の最善の利益を決定できる立場にあることを前提としている。

Anthropicの現在のミッションステートメントは、「AIが世界に多大な影響を与える」ことを当然の前提としており、同社は「その恩恵を確保し、リスクを軽減する」ことを約束している。このミッションは、2021年の創業時に用いられていたものから発展したものであり、一部の企業ウェブサイトには依然として次のような文言が掲載されている。「世界が変革をもたらすAIを通じて安全に移行できるよう確保すること」。

どうか理にかなった説明をしてほしい

では、効果的利他主義や長期主義が掲げる「人命を救う」という公約と、マスクによる米国国際開発庁(USAID)の突然の解体に関連する数十万人の死者、そして今後数年間で予想されるさらに数百万人の死者という現実を、いかにして両立させることができるのだろうか。端的に言えば、マスクは一部の命が他の命よりも重要だと信じているようだ。つまり、今日、黒人やヒスパニック系の人々の命を犠牲にすることは、汎用人工知能(AGI)の実現に向けた許容可能な代償であり、それによって将来、彼ら自身の(白人の)子孫の命を「救う」ことになるのだ。しかしマスクは、それを公言すればAIの政治的プロジェクトに対する反発を招くことを悟っているため、彼は主張する。「USAIDを木材チップ製造機に放り込んだ」行為は実際には誰の命も奪わなかったと。仮に犠牲が出たとしても、それは実際にはゲイツ財団やマッケンジー・スコットのような慈善家たちの責任であり、彼らが資金不足を埋めるために迅速に支援しなかったからだ。

理論上、USAIDの解体は、表向きはグローバルヘルスや国際開発に尽力しているはずのEA(効果的利他主義)コミュニティの一部において、反省を促すべきだった。しかし、実際にはそうはならなかったようだ。人類学者のモリー・グライバーマンMollie Gleibermanによれば、その理由は、効果的利他主義者たちが人道的な懸念を、トランスヒューマニズムの目標を隠すための「イチジクの葉」として利用しているからである。伝統的な道徳的価値観と、長期主義の冷徹な功利主義との間には深い溝が横たわっているため、この運動にとって最も「緊急」な課題は、「布教」を行い、「自らの世界観が根本的に正しいことを他者に納得させ、『新興技術』が世界の研究アジェンダにおいて優先されるようにすること」である。」そのために、効果的利他主義者たちは一貫した物語戦略を展開してきた。まず、EAを「国際援助・開発分野の論理的な延長」として位置づけ、次に、自動化された差別、大量監視、産業規模のプロパガンダなど、人権に対するより日常的な脅威を排除しつつ、公の議論を「実存的リスク」(しばしば「x-リスク」と略される)という概念へと誘導する。などといった、人権に対するより日常的な脅威を排除しつつ、「実存的リスク」という概念へと公の議論を誘導してきた。一見、矛盾や偽善のように見えるかもしれないが、これは実際には戦略的な注意逸らしである。

AIの「楽観派boomers」対「悲観派doomers」:誤った二分法

AIカルトの信奉者たちの信念は、いかなる宗教の信者たちにも見られるように、決して一枚岩ではない。互いの信念について激しく議論し、対立する多くのサブグループが存在する。とはいえ、これらのサブグループは十分共通の信念を分かち合っており、単一のカテゴリーにまとめることは有意義だ。もっとも、異なる潮流間の主要な「神学的」論争を理解することも有益ではある。実際、ゲブルとトーレスは、「TESCREAL」の各文字の背後にある多様な潮流を、20世紀の優生学にルーツを持つ「相互に関連し、重なり合うイデオロギーの束」として描写している。

エミール・トーレスのニュースレターは、この束の共通点と相違点を分かりやすく要約している:

全員が、ASI(高度人工知能)の超存在を構築すべきだと信じているが、価値の整合性が解決されるまでその構築を延期すべきだと主張する者もいる。全員が、究極の目標は、何らかの形でポストヒューマンが宇宙に植民地を築き、カルダシェフ尺度(文明が使用するエネルギーの量を測る尺度)を登りつめることにあると同意している。全員が、これらのポストヒューマンは意識を持たなければならないと信じている。なぜなら、知性の壮大な運命を果たす上で不可欠な要素の一つは、意識の光をあらゆる銀河のあらゆる星へと広めることだからだ。誰もが、シンギュラリティの瀬戸際に立っていると語る。それは宇宙史において根本的に新しい時代――幻想的な変化、信じがたいほど急速な進歩、そして新たな形態の人工知能の爆発的な出現――の幕開けとなる。すべてが順調に進めば、その結果として、途方もない豊かさ、不死、そして我々のちっぽけな人間の想像力をはるかに超えた宇宙の驚異に彩られた宇宙的ユートピアが実現するだろうという点で、全員が一致している。世界観の違いは、結局のところ、未来がどうあるべきかという、本質的には同一のビジョンにおける比較的わずかな差異に過ぎないことが分かる(原文強調)。

同様に、AIを巡る「楽観派」と「悲観派」の間で盛んに語られる対立も、過大評価されている。共和党と民主党の2026年の予備選挙キャンペーンの両方において、2つのスーパーPACからの巨額の資金が流入している。ブーマー派側では、「Leading the Future」(最大の寄付者はOpenAI社長のグレッグ・ブロックマンとその妻)が産業界寄りの候補者に資金を提供している一方、Anthropicが支援する「Public First」は、規制と監督の強化を支持する候補者を支援している。

『Tech Policy Press』の読者なら、OpenAIとAnthropicのそれぞれの設立経緯についてはお馴染みだろう。イーロン・マスクとサム・アルトマンは当初、全人類に利益をもたらすAGIを開発するため、2015年に非営利団体としてOpenAIを設立した。繰り返しになるが、この使命は、AGIの実現が可能であること、そしてカリフォルニアの少数の人々が「全人類」に利益をもたらすとはどういうことかを決定する立場にあることを前提としている 。2021年、OpenAIの従業員グループ(ダリオ・アモデイとダニエラ・アモデイの兄妹を含む)は、人類の集合的な最善の利益を念頭に置くことについてもはや信頼できなくなった元雇用主よりも早くAGIを開発することを目標に、同社を離れてAnthropicを設立した。Anthropicへの初期資金は、サム・バンクマン=フリード、ヤーン・タリン、ダスティン・モスコヴィッツを含むEAコミュニティからほぼ独占的に提供された。(OpenAIの非営利団体から公益法人への転換をめぐるマスク/アルトマン訴訟も同様に、これらの「ブロリガルヒ」たちが同じ目標を共有している一方で、その実現を誰に任せるべきかについては意見が分かれていることを浮き彫りにした。)

この経緯に加え、防衛契約や2026年の予備選挙に対する両社のアプローチの違いが相まって、多くの人々は、Anthropicが他のビッグテック企業よりも何らかの形で「より倫理的」(つまり、自由民主主義を解体する意図が薄い)であるという印象を抱いている。トランプ政権が同社とそのCEOであるダリオ・アモデイに対して抱く明らかな反感は、その誤解を助長している。同社の経営陣や従業員の内心の思いについては、私には語る資格がいない。確かなのは、AnthropicがAGIの開発に専念する、明示的なEA/長期主義企業であり、TESCREAL主義の信奉者たちによって設立・率いられ、初期資金もEA系の出所から得ていたということだ。したがって、民主主義の敵の敵を同盟者と見なすことは戦術的には妥当かもしれないが、だからといって彼らが友人になるわけではない。

「暗黒啓蒙主義」:サイバーリバタリアニズムから「ネード・ライヒNerd Reich」へ

残念ながら、封じ込めを逃れた過激な思想体系は、AIカルトだけではない。

過去30年ほどの間、サイバーリバタリアニズムとありふれた偏見(特に反黒人的人種差別、女性蔑視、障害者差別、トランスフォビア)が融合し、ネオリアクショナリー思想を生み出した。これはおそらく、ピーター・ティールが「自由と民主主義はもはや両立しない」と述べた悪名高い2009年の宣言で最もよく知られている。問題のエッセイでは、選挙による民主主義は (リバタリアン的なコード化された)結果をもたらさないため、公海上の、国家の力が弱すぎて介入できない地域、そして最終的には宇宙において、封建的な都市国家を築くことに注力すると述べていた。

そのエッセイを発表した後、ティールはカーティス・ヤーヴィンへの資金援助を行った。ヤーヴィンは、それぞれがテック企業のCEOによって統治される、局所的な「レルム」や「パッチワーク」という概念を考案した人物だ。テック起業家兼ベンチャーキャピタリストのバラジ・スリニヴァサンは、この概念をネットワーク・ステーツという名称で広めた。これは現在、トランプ政権によって「フリーダム・シティ」と呼ばれている。こうした飛び地を何と呼ぼうと、その核心となる考え方は、法の及ばない場所に主権を持つ都市国家を創設し、そこでCEO王たちが、環境保護や労働者保護、適正手続き、あるいは他者のニーズや利益を気にすることなく、思う存分「イノベーション」を行えるようにすることだ。決定的なのは、彼らが説明責任を免れるという点だ。彼らの支配下にある住民が利用できる唯一の救済手段は、その地を離れることだけである。(これらの思想の起源と含意について詳しくは、ギル・デュラン著『The Nerd Reich』を推奨する。)「暗黒啓蒙主義」はあらゆる点で道義的に忌まわしく、民主主義や人権の価値観を拒絶し、まるで「弱肉強食の法則」のようなものを是認している。トランプ大統領の顧問であるスティーブン・ミラーは、CNNのジェイク・タッパーとの1月のインタビューで、これを最も明確に述べた。「私たちが生きる現実の世界は、強さによって、力によって、権力によって支配されている。これらは太古の昔から存在する、世界の鉄の法則なのだ。」

人民による、人民のための、人民の政府など忘れてしまえ。このパラダイムでは、力こそが正義であり、強者はできることを行い、弱者は耐えなければならない苦しみを味わうのだ。

ネオリアクション思想は、いわゆる「オルタナ右翼」やMAGA運動にも反映されているが、AIカルトとは一線を画している。両思想は当初別々に発展していたが、カーティス・ヤーヴィンと彼の後援者であるピーター・ティールのおかげで、最終的に融合した。今日、これら二つの潮流は密接に絡み合っており、シリコンバレーとトランプ政権が共同で推進する政治プロジェクトの基盤となっている。それは、厳格な人種・性別・階級のヒエラルキーを強要し、人権や市民権の保護を抹消し、立憲的民主主義を解体し、不要と見なされる政府機能(USAID、教育省)を廃止し、 自らの富を増やすために利用できるものを民営化(スペースX)、残りの公務員を自動化に置き換え、そして一般に、汚職や腐敗そして公衆から億万長者階級への巨額の富の移転を可能にすることだ。これがテクノファシズムである。

AIカルト + 暗黒啓蒙 = テクノファシズム

この用語は時折、「目的を達成するために現代技術を利用するファシズムの一形態」を指すために用いられるが、 歴史家のジャニス・ミムラJanis Mimuraは2011年、公的領域と私的領域が融合し、技術に対する準宗教的な信仰(この場合は、実際に存在する「AI」ツールとAGI/ASIのような仮説的な技術の両方)によって駆動される「過激で権威主義的なテクノクラシーの形態」を形容するために「テクノファシズム」という用語を造語した 。MITのキャサリン・ディグナツィオCatherine D’Ignazioは、現代のテクノファシズムを「大手テクノロジー企業、右派の億万長者、そしてテック文化が、権威主義的かつ反民主的な政治的アジェンダと結託すること」と定義し、「今日のテクノファシズムが深刻なのは、極端な富の不平等、金融化、環境破壊、そして億万長者の妄想によって悪化しているからだ」と指摘している。

技術政策の専門家が心に留めておくべき重要な洞察は、テクノファシズムが「単に既存の民主的規範の拒絶にとどまらず、社会を根本的に再構築することを目的とした、複雑でしばしば矛盾した異端的な思想・価値観・目的の寄せ集めを積極的に推進するものである」という点だ。これはスティーブン・ディールStephen Diehlが指摘している通りである。個人の背景や教育歴によっては、社会契約の本質、公共の利益のために統治する政府の義務、そして政策立案における人権と尊厳の中心性について、大まかな規範的合意が存在することを当然のことと捉えているかもしれない。ディールによれば、テクノファシズムは「この確立された枠組みの大部分の外側で機能し、人間の平等や民主的統治の望ましさに関するその基礎的な前提に根本的に異議を唱えている」という。

技術政策においては、両領域の相互作用を認識しつつも、「技術を、それが組み込まれている社会政治システムから切り離す」ことが求められる。技術者は社会科学者や法律家が基盤となる技術を理解する必要があるのと同様に、社会政治的文脈を理解する必要があり、私たち全員が、技術と政治が絶え間ない反復プロセスの中で互いに形作り合う仕組みを理解し、向き合わなければならない。技術とその未来に関する反証不可能な信念(すなわち、AGI/ASIが到来するといった主張など)が、製品開発、政治的ポジショニング、戦略的コミュニケーションに関するテクノロジー業界の意思決定を形作っている。現在の多面的な危機において、AIカルトや新反動主義的な「暗黒啓蒙」の決定的重要性を無視することは、私たち自身にとって何の得にもならない。

結論

SpaceXのIPO、そして予想されるOpenAIやAnthropicのIPOによって、莫大な富を得た者たちから今まさに注がれようとされている資金を考えると、公共の利益を追求するテクノロジー政策の専門家たちが、AI業界に浸透するイデオロギー的潮流について、より精緻な理解を深めることは、これまで以上に急務となっている。この資金の洪水の中で誠実に行動する方法はあるが、そうした選択肢を見つけるには、ダスティン・モスコヴィッツDustin MoskovitzのCoefficient Giving(旧Open Philanthropy)やヤーン・タリンJaan TallinnのSurvival and Flourishing FundといったEA(効果的利他主義)の資金提供者の背後にある知的潮流を理解する必要がある。効果的利他主義者から資金提供を受けている、あるいは何らかの形で連携している組織からのアイデアや提案――その多くは「AIの安全性」に専念していると自らを位置づけている――についても同様に、AGI/ASIに関する根本的な前提に対して健全な懐疑心を持って評価すべきだ。もしAGI/ASIが決して実現しなかったとしても、そのアイデアは理にかなっているだろうか?この提案は、現存する技術が今日の人々に与える影響を懸念しているのか、それとも何世代も先の子孫の幸福を懸念しているのか。中国とのAI競争という概念は、この議論にどのように絡んでくるのか。結局のところ、競争にはゴールラインが伴うものであり、AGI/ASIの開発以外、そのゴールラインとは何だろうか。

だからこそ、例えば私は、バーニー・サンダース上院議員の (I-Vt.)AI主権財富基金法のような提案には強い懸念を抱いている。特に、AI問題に関して極右の指導者であり元トランプ顧問のスティーブ・バノンと積極的に連携する姿勢を見せた後はなおさらだ。サンダース氏は、AGIが差し迫っている、あるいはすでに実現している可能性さえあると心から信じているようだ――彼のクロードClaudeへのインタビューからは、LLMチャットボットを一種の予言者だと見なしていることがうかがえる。AIをノルウェーの石油資源に例えることで、この提案は、AI企業の製品やサービスが、過去1世紀にわたって化石燃料が果たしてきたのと同じ中心的な役割を経済において果たすことになる、と想定している。しかし、それが実現するかどうかは未知数だ。さらに、これにより連邦政府はAI産業の経済的成功にこれまで以上に利害関係を持つことになり、AI信奉者たちが描く「常にAI、すべてAI」という社会のビジョンが、自己成就的な予言となる可能性さえある。

このような懐疑論は、中間選挙で民主党が連邦議会の少なくとも一院を奪還した場合、そして2028年の選挙サイクルを通じて、さらに重要性を増す可能性がある。トランプ政権下では「効果的利他主義者」は「効果的加速主義者」にほぼ取って代わられたが、彼らはバイデン政権を通じて、議会でもホワイトハウスでも深い影響力を持ち、復活の機を窺っている。穏健で産業界に友好的な民主党主流派にとって、「実存的リスク」を懸念しつつ「人間の繁栄」を熱狂的に語る熱心な理想主義者たちよりも、漫画のような「効果的加速主義者」の悪役たちに対して健全な懐疑心を維持する方がはるかに容易だ ――特に、そうした理想主義者たちが莫大な資金力を持っている場合はなおさらだ。AGI/ASIの実現が決して確実なものではなく、それが不可避である、あるいは望ましいことであるという前提に基づいて政策決定を行うべきではないことを、選出された指導者たちに思い出させるのは、市民社会の役割となるだろう。

「ブロリガルヒ」たちが、今日の人口よりも、AIによって強化された架空の未来の生命を重視する優生学者であり、冷徹な計算上の「合理性」が人権や尊厳に優先する、残酷な階層社会を支配することが自分たちの権利であり義務だと信じていることを理解すれば、多くのことが納得できるようになる。例えば、AGIのために世界をより安全な場所にするためなら手段を選ばない独裁志望者と手を組むこと。あるいは、ガザを乗っ取る計画を立てたり、グリーンランドへの侵攻をほのめかしたりすること――どちらも「フリーダム・シティ」建設に最適な土地を提供する。あるいは、欧州のテクノロジー規制をめぐって大西洋横断同盟を崩壊させること。あるいは、米国の移民政策を利用して、テクノロジー企業の説明責任を求める運動からシリコンバレーを守ること。例を挙げればきりがない。

とりあえず、皆さんに呼びかけたいことは、AI政策に関する主張や議論の根底にある暗黙の前提に注意を払うことだ。誰かがAIカルトや暗黒啓蒙に関連する議論を暗に展開していることに気づき、「人間よりも能力の高いAGI/ASIの出現は避けられない」、「私たちの人間労働は可能な限り自動化すべきだ」、「取り残されないためにはAIの導入が不可欠だ」といった前提に対して反論することだ。「技術エリートの利益や能力に沿った、投機的で大規模なプロジェクトを優先するために、差し迫った危機を無視することを正当化する功利主義的枠組み」を提示する長期主義者の主張は、完全に拒絶すべきである。

AI投資ブームの熱狂や、極めて現実的なAIサイバーセキュリティ脅威に関する目まぐるしいニュースの連発は、政策立案者も一般市民も、私たちに差し迫っている最も重大な危険から注意をそらし続けるだろう。その危険とは、悪意あるAGI/ASIや、善意あるAGI/ASIの実現に失敗することではなく、未来を閉ざそうとする妄想に囚われた億万長者たちの手に、富と権力が無制限に集中していることである。技術政策に携わり、より公正で、公平かつ持続可能な未来を推進したいと願う者には、一線を画し、そのような結末から身を守る義務がある。

参考資料

AIカルト、「ダーク・エンライトメント」、テクノファシズムについてさらに学びたい人のために、以下の資料を参考にするといいだろう:

Books

Long reads

Newsletters

Podcasts & videos

https://www.techpolicy.press/what-policymakers-and-the-public-need-to-know-about-the-cult-of-ai

Table of Contents