(doi.org)TESCREALバンドル：優生学と汎用人工知能によるユートピアの約束

Created On2026年10月3日

Last Updated On2026年10月5日

bytoshi

(訳者前書き)この論文は、The TESCREAL bundle: Eugenics and the promise of utopia through artificial generalintelligenceby Timnit Gebru and Émile P. Torres.の翻訳。近年、とりわけ2026年にはいってから生成AIの急速な普及にともなって、一方で、AI開発の推進論が活発になると同時に、他方ではAI開発が人類の破滅を招くといった終末論風の議論も活発になってきた。しかし奇妙なことに、この二つの議論が得てしてAIを開発してきた人達によって声高に主張されたりもしている。この奇妙な現象をどう理解したらいいのだろうか。ここで紹介した論文は、この二つの主張は、実は「同じ穴の狢」あるいは「ジキルとハイド」だということを詳細に後付けている。

この論文は、今後AIをめぐって私たちが議論する上で是非とも知っておく必要のあるAIをめぐる歴史とイデオロギーをめぐる重要な問題提起でもある。著者たちは汎用人工知能（AGI）の利用については根本的な疑問を持っている。なぜなら、それは検証不可能な技術だからであり、同時にこの技術の背景に、長い伝統をもつ優生学とも繋る人種差別、外国人排斥、階級差別、障害者差別、性差別が広く蔓延しているからだ。本稿で著者たちは、かなりやっかいな様々なイデオロギーの潮流を7つに分類した。トランスヒューマニズム(transhumanism)、エクストロピアニズム(Extropianism)、シンギュラリティ主義(singularitarianism)、（現代的）コスミズム(cosmism)、合理主義(Rationalism)、効果的利他主義(Effective Altruism)、長期主義(longtermism)である(これらのイズムの詳細は論文をお読みください)。これらが相互に結びつきながら緩やかなイデオロギー空間を構築しており、これをTESCREALバンドルと呼んでいる。著者たちは、AI全般を否定しない。むしろ分野を特定し検証可能なAIについては支持する立場だ。

本稿を読むと、とりわけトランプ政権のAI戦略やビッグテックの経営者たちの言動が、なぜそのような奇矯とも思える考え方や行動をとるのか、その理由がわかると思う。私たちに必要なことは、世間を惑わせているAI熱をクールダウンさせて、冷静にAIをめぐる議論を支える思想的な背景への批判的な認識を確立することだろう。本論文はそのためにも必読だと思う。(としまる、202610/3 アクセス)

著者

ティムニット・ゲブル

エミール・P・トーレス

https://doi.org/10.5210/fm.v29i4.13636

要旨

人工知能（AI）分野の多くの組織が掲げる目標は、汎用人工知能（AGI）の開発である。これは、私たちがこれまで見たことのないほどの知能を持つと想定されるシステムだ。研究者たちは、そのようなシステムを構築できるのか、また構築すべきなのかという点を真剣に問うことなく、「全人類にとって有益な」「安全なAGI」の創出に取り組んでいる。私たちは、標準的な工学原理に従って評価可能な特定の用途を持つシステムとは異なり、「AGI」のような定義が曖昧なシステムについては、安全性を適切に検証することはできないと論じる。では、なぜAGIの構築は、AI分野においてしばしば疑いようのない目標として位置づけられるのだろうか。本論文では、この目標の多くを動機づけている規範的枠組みが、20世紀の英米における優生学の伝統に根ざしていると論じる。その結果、かつて優生学者たちを駆り立てたのと同じ差別的な態度（例、人種差別、外国人排斥、階級差別、障害者差別、性差別）の多くが、AGI構築運動の内部で依然として広く蔓延しており、その結果、「安全性」や「人類への利益」という言葉を盾に説明責任を回避しつつ、周縁化された集団に害を与え、権力を一極集中させるシステムが生み出されている。結論として、私たちは研究者に対し、AGIのような「全知」と想定されるシステムの構築を試みるのではなく、安全プロトコルを策定できる明確な課題に取り組むよう強く求める。

1. はじめに
 2. 方法論
 3. 歴史的背景：現代の優生学
 4. TESCREALバンドル
 5. トランスヒューマニズムからAGIへ
 6. AGIのユートピアと黙示録：表裏一体の関係
 7. 範囲が明確で定義のしっかりしたシステムの構築
 8. 結論

1. はじめに

近年、汎用人工知能（AGI）の構築という目標が再び注目を集めている。AGIとは、その構築を目指す人々や組織によって定義が異なるシステムである。例えば、OpenAIはAGIを「経済的に価値の高い業務のほとんどにおいて、人間を上回る性能を発揮する高度に自律的なシステム」と定義している [1]。2007年にこの用語を広めたペンナチン(Pennachin)とゴーツェル(Goertzel)は、AGIを「様々な異なる領域における多様な複雑な問題を解決でき、独自の思考、懸念、感情、長所、短所、傾向を持って自律的に自身を制御するソフトウェアプログラム」と定義している[2]。この用語の造語に関与したと主張するピーター・ヴォス(Peter Voss)は、AGIを「賢く、十分な教育を受けた人間のリアルタイムの認知能力（身体的能力ではない）に匹敵するか、それを上回るコンピュータシステム」と定義している[3]。

また、著名なAI研究者であるスチュアート・ラッセル(Stuart Russell)とピーター・ノーヴィグ(Peter Norvig)は、これを「あらゆる環境下で学習し、行動するための汎用アルゴリズム」と定義している[4]。1955年に「人工知能」(AI)という用語を考案した研究者の多くは、「人間の最も高度な思考活動を実行する機械」を作り出すという目標を持っていたが（McCarthy, et al., 1955）, この目標は1990年代までにこの分野の多くの学者によって放棄された。その一因は、研究者たちが実現できなかった大げさな主張と関わりたくなかったためである [5]。こうした主張は、1970年代および1990年代の「AIの冬」を招き、「汎用知能」の構築に焦点を当てた研究の多くが資金提供を失う結果となった。その後、この分野は主に、一部で「狭義のAI」と呼ばれる専門化されたシステムの構築に注力するようになった[6]。

しかし最近では、AGIの構築を目指し、自社の製品がAGIの実現に近づいていると主張する組織が急増している（Bubeck, et al., 2023; Cuthbertson, 2022）。様々な手法でAGIを達成できるかどうかについて多くの研究者が議論を重ねてきた（Shevlin, et al., 2019; Agüera y Arcas and Norvig, 2023; Silver, et al., 2021）が、なぜAGIがAI分野の多くの人々によって望ましいと見なされているのか、またそれが追求すべき目標なのか――あるいはそもそも実現可能なのか――についての議論はほとんど見られない。いかなる状況下でもあらゆるタスクを実行できる、いわば全知全能のシステムを構築しようとする試みは、すでに、労働者の搾取（Gray and Suri, 2019; Williams, et al., 2022）、データの窃盗（Khan and Hanna, 2022）、環境的な人種差別（Bender and Gebru, et al., 2021）、誤情報や偽情報の拡散（Bender and Gebru, et al., 2021; Shah and Bender, 2022）、剽窃（Jiang, et al., 2023）、そして人種差別、障害者差別、同性愛嫌悪、階級差別といったヘゲモニックな見解を増幅させるシステム（Bender and Gebru, et al., 2021）など、多くの実証済みの被害がすでに生じている。

本論文では、AGIの構築を目指す競争を駆り立てているイデオロギーは何か、という問いを提起する。この問いに答えるため、AGIへの投資、提唱、および構築を試みている主要人物による一次資料を分析する。憂慮すべきことに、この目標の起源は、トランスヒューマニズムを経由して、英米優生学運動にまで遡ることが判明した。

その過程で、私たちは相互に関連し重なり合うイデオロギーの系譜を明らかにし、これを「TESCREALバンドル」と名付けた。「TESCREAL」という頭字語は、「トランスヒューマニズム(transhumanism)、エクストロピアニズム(Extropianism)、シンギュラリティ主義(singularitarianism)、（現代的）コスミズム(cosmism)、合理主義(Rationalism)、効果的利他主義(Effective Altruism)、長期主義(longtermism)」を意味する[7]。

第一波の優生学の直接的な系譜を引くこれらのイデオロギーは、おおむねこの順序で出現し、その多くは同じ人物たちによって形作られ、あるいは創設された。私たちは、TESCREAL・バンドルの支持者たちがAGI構築への動きをいかに主導し、資金提供したかを検証することで、TESCREAL・バンドルがいかにしてAGI開発競争を活気づけるようになったかを示す。例えば、AGIに関する最初の書籍（Pennachin and Goertzel, 2007b）は、トランスヒューマニスト、コスミスト、そして「トランスヒューマンAGI」の創出を明確な目標としていたエクストロピアン運動の参加者が共同執筆したものであり[8]、AGIに焦点を当てたプロジェクトへの億万長者による資金提供の多くは、これらのイデオロギーの1つ以上と立場を同じくするか、あるいは明示的に関係する富裕層から寄せられている。その結果、現在のAGI開発競争に最も責任を負う人々は、第一波優生学者（すなわち、TESCREAL運動の先駆者であった20世紀の優生学者）のビジョンに類似したユートピア的理想に感化されており、AGIをこれらのビジョンの実現に不可欠な要素と見なしている。一方、AGI開発競争は、第一波の優生学者によって被害を受けたのと同じ集団に害を及ぼす製品を大量に生み出している。

AGI開発に取り組む組織は「AIの安全性」の必要性を論じ、「価値観の不整合」を持つ AGI――すなわち、「私たち」の価値観と整合しない「価値観」を持つ「知的」システム――が人類に「存亡の危機」をもたらし得ると指摘している[9]が、私たちはこの安全性の概念が、第一波優生学者から受け継がれたTESCREALのユートピア的かつ終末論的なビジョンに根ざしていると主張する。しかし、TESCREAL主義者たちは、こうしたユートピア的な理想に賛同しないかもしれない政策立案者や研究者たちに影響を与え、AGIの議題を優先させると同時に、安全でない製品を生み出し、説明責任を回避し、特定のコミュニティのニーズに応えるタスク特化型モデルを構築している世界中の組織から資源を吸い上げている。

私たちは、AI研究者に対し、AGI支持者でさえその定義が不明確であると認めているシステムの構築を目指す取り組みを中止するよう強く求める [10]。私たちは、いかなる状況下でもあらゆるタスクを実行することを目標として構築されたシステムは、根本的に安全ではないことに注目する。そのようなシステムは、基本的な工学原理を用いて安全性を設計したりテストしたりすることができないからだ（Khlaaf, 2023）。安全なシステムを構築するには、AGIが宣伝されてきたような存在ではなく、範囲が明確に定められ、制約が課されたものとしてそれを構想する必要がある。

以下、本論文の構成は次の通りである。第2節では、私たちの方法論について簡潔に論じる。第3節では、優生学運動に関する背景情報を提供する。第4節では、私たちが「TESCREALのイデオロギー群」と呼ぶものを紹介する。これは、優生学運動のより過激なバージョンである主張する。第5節では、TESCREAL運動がどのようにAGI構築への追求を推進しているかを論じる。第6節では、AGIへの歩みがもたらす害について概説する。最後に、第7節では、研究者に対し、AGIではなく、明確に定義されたシステムの構築へと方向転換するよう促す。

2. 方法論

人種科学、植民地主義、優生学がAI分野全体にもたらした歴史的意義については、多くの学者によって研究されてきた（McQuillan, 2022; West, 2020; Katz, 2020; Ali, 2019）。しかし、本論文では特に、私たちの見解ではAI分野を支配してきたとされる、近年のAGI競争に焦点を当てている。当論文の共著者は、この競争が展開する様子を異なる角度から見てきた。一人は電気工学の専門家であり、テクノロジー業界で20年近く（そのうち10年以上はAI分野で）働いてきた。もう一人は哲学者兼歴史家であり、TESCREAL運動に10年近く関与し、その主要な貢献者かつ支持者として活動した後、同運動を離れた人物である。

この間、私たちは学生、教授、エンジニア、投資家、ジャーナリストなど、AGI競争に関わる多くの人々と交流し、現在この競争の一翼を担っているグループや機関にも自ら所属していた。この経験を通じて、私たちはこの競争を牽引する主要なイデオロギーについての知見を得た。そして、以下の方法によってさらに調査を進めた。(1) AGIの研究、資金提供、議論に携わる主要人物による一次資料（学会での講演、学術論文、政府への証言、ブログ記事、ソーシャルメディアの投稿、電子メール、フォーラムの書き込み、ポッドキャスト、その他のインタビューなど）を分析すること、 (2) これらの人物の信念、経歴、プロジェクト、およびAGI競争に関わる様々な組織と富裕な寄付者との間の金銭的つながりについて、私たち自身や他の調査報道から情報を収集すること、(3) 優生学、トランスヒューマニズム、およびその他の関連する社会現象の歴史に関する二次文献を分析すること。

本論文の初期草案を執筆中に、私たちは「TESCREAL」という頭字語を考案した。一次資料の分析を通じてAGI競争の起源をたどる中で、優生学の理想がこの取り組みの中心にあることがわかった。こうした理想はしばしば明示されており、本論文全体で論じるように、場合によっては第一世代の優生学者たちへの具体的な言及も見られる。AGI競争における主要人物や組織へのこの影響を記述する中で、私たちは常に7つのイデオロギー――トランスヒューマニズム、エクストロピアニズム、シンギュラリティ主義、コスミズム、合理主義、効果的利他主義、長期主義――に言及していることに気づいた。各イデオロギーを個別に言及するのは煩雑になりがちであり、またAGIをめぐる議論に顕著な貢献をしている多くの人物が複数のイデオロギーと関連しているため、私たちはこれらを単一の頭字語の下にグループ化することで議論を簡素化することにした。そうすることで、これらのイデオロギーを、過去30年にわたって広がる単一かつ首尾一貫した運動を構成するものとして概念化することが、歴史的、社会学的、哲学的な観点から正当化されることを明らかにした（第4.2節を参照）。この頭字語は、AGIやその他の現象を調査する研究者やジャーナリストの間ですでに使用され始めている（Devenot, 2023; Zuckerman, 2024）。

TESCREALの枠組みにおいて各イデオロギーを中心に結集したコミュニティは、互いに大きく重なっており、それぞれの未来像、価値観、認識論的傾向は、しばしば区別がつかないほどである。本研究は、Ahmed ら（2024）の論旨を裏付けている。同論文は、私たちとは別に、効果的利他主義、長期主義、および実存的リスクに関心を持つ重複するコミュニティが「AI安全」という分野の基盤を成しており、彼らが「AI安全認識共同体」と呼ぶものを形成していると結論付けている。Haas（1992）は、認識共同体を次の要素を持つ人々集団として定義している。1) 規範的かつ原理的な信念の共有、 2) 共有された因果的信念、3) 共有された妥当性の概念、4) 共通の政策目標を持つ人々の集団であると定義している。私たちは、TESCREALというイデオロギーの集合体が具体的に認識共同体の基盤を形成していると主張するわけではないが、第4節で論じるように、これらのイデオロギーは一種の結束したまとまりとして理解されるべきであると主張する。

3. 歴史的背景：近代優生学

優生学の思想は、西洋の知的伝統の起源にまでさかのぼることができる [11]。プラトンは著書『国家』において、優れているとみなされた支配階級、すなわち「守護者」たちが、子孫を残す機会をより多く与えられるという、選抜繁殖の制度を提唱した。劣った個人の子孫は、「役人によって密かに連れ去られ、ほぼ確実に、優れた守護者たちの目に見えて欠陥のある子孫と共に死に任される」ことになっていた[12]。アリストテレスは、「先天的な奇形を持って生まれたあらゆる子ども」を対象とした嬰児殺しを是認した[13]。その後、18世紀の啓蒙時代には、血統を汚し「奇形児を生み出す」という理由で、「人種混交」、すなわち異なる民族集団の成員間の性的な交配に反対する声が上がった[14]。

これらは、いわゆる「原始優生学」と呼べる事例である。対照的に、近代的な優生学運動は、ダーウィン以後のフランシス・ゴルトン(Francis Galton)（1869年）の研究に端を発する。彼は、「人間の生来の能力は遺伝によって得られる」という「遺伝論」を擁護した。したがって、ゴルトンは、「慎重な選別によって、走力に優れた犬や馬の固定された品種を得ることができるのと同様に……数世代にわたる賢明な結婚を通じて、才能に恵まれた人類の種族を生み出すことは十分に可能である」と主張した[15]。これが、ゴルトンが1883年に造語した「優生学」の「科学的」な基礎を築いた。

近代優生学の歴史は二つの波に分けられ、その第二の波は1990年代に特に顕著に現れた。これについては第4節で論じる。第一波の優生学者たちは、「人間の血統」を改善するための二つの戦略、すなわち「積極的」優生学と「消極的」優生学を認識していた。積極的優生学は、高い「知能」などの「望ましい」形質を持つ人々がより多く子孫を残すよう奨励することで、人間集団内における「望ましい」遺伝形質の頻度を高めることを目指す。20世紀初頭に流行した「ベター・ベイビー」や「フィッター・ファミリー」コンテストは、これら「望ましい」遺伝形質や「優れた血統」を持つ人々に対して、より多くの子孫を残すよう促した点で、積極的優生学の例である。消極的優生学は、「不適格」な個人がその遺伝子を次世代に受け継がせることを防ぐことを目指す。消極的優生学こそが、20世紀を通じて行われた移民制限や異人種間結婚禁止法、さらにはカリフォルニア州などで実施された強制不妊手術プログラムを正当化する根拠となった。1909年に始まったカリフォルニア州の優生学プログラムは、その後ナチスによって「人種衛生」政策のモデルとして採用され、最終的にはホロコーストへとつながった（Black, 2003; Stern, et al., 2017）。

注目すべきは、消極的優生学がドイツのファシストだけでなく、ヨーロッパや北米の他の地域の進歩主義者やリベラル派にも支持されていた点である [16]。バッシュフォード(Bashford)とレヴィーン(Levine) (2010)が指摘するように、「優生学の楽観主義、および科学的アイデアを積極的に適用しようとするその志向こそが、進歩主義者やリベラル派を頻繁に惹きつけた理由の一つであった」[17]。また、多くの人々が信じているのと異なり、優生学運動は第二次世界大戦の残虐行為の後も消え去ったわけではない。

それどころか、カリフォルニア州の不妊手術プログラムは1979年まで続いた[18]し、英国優生学協会も、名称は変わったものの、今日でも存続している。同団体は1989年にガルトン研究所(Galton Institute)へと改称し、さらに2021年にはアデルフィ・ジェネティクス・フォーラム(Adelphi Genetics Forum)へと改称した（Bland and Hall, 2010; Stern, 2005） [19]。1970年代には優生学に対する批判が高まり、それが一時的な衰退のきっかけとなったが、そのわずか10年ほど後に、優生学の第二の波が現れた。

第一波の優生学運動は、多くの理由から忌まわしいものであった。その一つは、消極的優生学と積極的優生学の両方を支えていた、根底にある人種差別的、排外主義的、障害者差別的、階級差別的、そして性差別的な態度である。「不適格」と見なされた人々は、「欠陥者」、「弱智者」、「白痴」、「先天性障害者」、「愚鈍者」、「知力低下者」など様々なレッテルを貼られ、しばしばIQテストを用いて特定された（Roige, 2014）。「高業績」の個人には、より多くの子どもをもうけるよう奨励された。多くの優生学者も白人種の優越性を認め、それが前述の異人種間結婚禁止法を「正当化」する根拠となった（Bashford and Levine, 2010）。ガルトンによれば、貧困は主に個人の劣った性質に起因するものであった。この考え方は、より最近ではハーンシュタイン(Herrnstein)とマレー(Murray, 1994)によって擁護され、IQには遺伝的に決定された差異があるため、社会福祉政策が有意な好影響をもたらす可能性は低いと主張された。

これにより、現代優生学の第2の波へと至る。これは第1の波とは、とりわけその方法論において異なる。第1の波の優生学者たちが、社会全体の生殖パターンを変えることで「人類の血統」を改善しようと努めたのに対し――このプロセスには何世代もの時間を要した――、第2の波の優生学は、遺伝子工学やバイオテクノロジーに関連する新たな技術的可能性への対応として台頭した[20]。こうした技術は、人口レベルでの政策を必要とせず、また効果を発揮するために世代を超えた時間軸を要しない、人間の「改良」への扉を開いた。たった一世代の間に、親は、遺伝論的仮定に基づき、卓越した「知能」のようないわゆる遺伝表現型形質phenotypic traitsを決定するとされる遺伝子を選択することで、子どもを「設計」できる可能性があるというのである[21]。

その結果、新優生学は「リベラル」であると主張し、「強化された」子孫を産むかどうか、またその方法を決定する親の自由を強調している（Agar, 1998）。しかし、一部の哲学者は、実際にはこの新しい「リベラル」な優生学――時に「新優生学」とも呼ばれる――が、20世紀の優生学プログラムと全く同じ、自由を損なう結果をもたらすだろうと論じている（Koch, 2020; Sparrow, 2011）。また、多くの第二波優生学者たちは、自分たちの優生学が、第一波優生学者たちを駆り立てた差別的な態度から脱却したと主張している[22]が、次の節で見るように、これは疑わしい。

4. TESCREALのイデオロギー群

本節では、現代優生学の第2波を象徴する、我々が「TESCREALの束」と呼ぶイデオロギーの集合体について論じる。これらのイデオロギーとは、改めて挙げれば、トランスヒューマニズム、エクストロピアニズム、シンギュラリティ主義、コスミズム、合理主義、効果的利他主義、そしてロングターミズムであり、これらは概ねこの順序で出現し、現代においても歴史的にも大きく重なり合っている。TESCREALの束については、表1にまとめた。

4.1. TESCREALバンドルの紹介

トランスヒューマニズムとエクストロピアニズム。まず、第二波優生学の一形態であるトランスヒューマニズムについて論じる。これは、急進的な「人間強化」の実現可能性と望ましさを肯定するものである。「トランスヒューマニズム」という言葉は1940年にW. D. ライトホールによって造語された可能性はあるが、その思想はさらに以前から、1959年から1962年まで英国優生学協会の会長を務めたジュリアン・ハクスリーを含む20世紀の多くの優生学者たちによって展開されていた（Dard and Moatti, 2017）。「遺伝のメカニズム」を制御することで、彼は次のように記している。「人類は、もし望むならば、自らを超越することができる――それは単発的なものではなく……人類全体として、その総体においてである。」もし十分な数の人々が「『私はトランスヒューマニズムを信じる』と心から言える」ようになれば、「人類は、私たちと北京原人[sic]との違いと同じくらい、私たちとは異なる新しい存在形態の入り口に立つことになるだろう。そしてついに、自らの真の運命を意識的に果たすことになる」[34]。

「初期トランスヒューマニズム」と呼べるハクスリーのトランスヒューマニズムの概念が、当時の他の優生学の考えと異なっていた点は、そのビジョンにあった。その目的は、単に人類の可能な限り最良の形態を作り出すことではなく、人類そのものを完全に「超越」することにあったのだ。こうして初期トランスヒューマニズムは、この新しいビジョンと、第一波の優生学の古い方法論とを融合させたのである。対照的に、私たちが「現代のトランスヒューマニズム」と呼べるものは、1980年代後半から1990年代初頭にかけて形を成し、ハクスリー的な超越のビジョンと、第二波優生学の新しい方法論を組み合わせた。したがって、支持者たちは、個人が抜本的な能力向上を受けるかどうか、またその方法を自由に選択できるようにすることで、優れた新しい「ポストヒューマン」種を創造できると想像した。ニック・ボストロムによれば（2013、2005a）によれば、「ポストヒューマン」とは、無期限に続く「ヘルススパン」、増強された認知能力、高められた合理性など、一つ以上のポストヒューマン的能力を備えたあらゆる存在を指す。

現代トランスヒューマニストの最初の組織化されたグループは、エクストロピアン運動であった。その起源は、マックス・モアとT.O. モローが1988年にエクストロピー研究所を設立した後の1980年代後半にさかのぼることができる。新造語「エクストロピー」は、モアによって「システムの知性、情報、秩序、活力、および改善能力の程度」[35]と定義され、「エントロピー」と対比させることを意図していた。」モア（1998）は、このイデオロギーの5つの基本的な信条として、無限の拡大、自己変容、ダイナミックな楽観主義、知的技術、自発的秩序を挙げた（Regis, 1994）。数年後、ボストロムとデビッド・ピアースは世界トランスヒューマニスト協会（WTA）を設立した。これは「より成熟し、学術的にも信頼できる形のトランスヒューマニズム」[36]を目指していた。

シンギュラリティ主義。WTAが設立されたのとほぼ同時期に、トランスヒューマニズムのもう一つの派生形としてシンギュラリティ主義が登場した。その主要な提唱者には、レイ・カーツワイルやエリーザー・ユドコウスキーらがいた。これは、到来する「技術的シンギュラリティ[特異点]」を強調するものであり、これには微妙に異なるいくつかの定義がある。第一に、それは技術の「進歩」の速度が極めて急速になり、人類史に根本的な断絶をもたらす時点を指す場合がある。カーツワイルの説によれば、人間は機械と融合し、宇宙史における新たな時代を切り開くことになる。そうして私たちの子孫は地球の外へと広がり、宇宙に意識を溢れさせ、それによって宇宙が「目覚める」ことを可能にする。彼はシンギュラリティが2045年に起こると予測している（カーツワイル、2005）と予測している。一方、自らを「天才」と称するユドコウスキーは、かつてそれが2025年に起こると予測していた――本論文を執筆している現在から1年足らず先の話である[37]。「シンギュラリティ」の第二の定義は、「知能の爆発」という概念に関わるもので、アルゴリズムが「再帰的な自己改善」を繰り返すことで、最終的に「超知能」となるというものである。これもまた、人類史における変革的な瞬間を構成するとされ、その結果として生まれる超知能によって、私たちはポストヒューマンとなり、宇宙への植民が可能になるとされる。ある見解によれば、シンギュラリティ主義者とは、「人間を超える知能を技術的に創造することが望ましいと信じ、その実現に向けて活動する者」のことである [38] 。「シンギュラリティ主義者」という用語は、1991年にエクストロピアンであるマーク・プラスによって造語された[39]。

コズミズム。TESCREALの枠組みにおける3つ目のテクノ・フューチャリスティックなイデオロギーはコズミズムであり、これは特に、エクストロピアン運動に参加し、後に「分散型で、民主的、包摂的、かつ有益な汎用人工知能」の創出を支援することを目的としたSingularityNET.ioを設立したトランスヒューマニスト、ベン・ゴーツェルによって提唱されてきた [40] 。ゴーツェル（2010）は、コズミズムがトランスヒューマニズムの目標である「急進的な人間能力の向上」を包含しつつも、様々な点でそれを超えていると記している。例えば、コズミズムは「人間はテクノロジーと融合する」と断言しており、それが「我々の種の進化における新たな段階」を切り開くものであると主張する。また、「我々は知覚能力を持つAIとマインドアップロード技術を開発する」ことで、「生物学的な存在を捨ててアップロードすることを選ぶ者たちに、無限の寿命をもたらす」とも述べている。しかしコスミズムはまた、「我々は星々へと広がり、宇宙を駆け巡る」こと、「合成現実」（すなわち、仮想世界）を創造すること、そして「現在の理解や想像をはるかに超えた時空工学や科学的な『未来の魔法』を開発する」こと [41]。したがって、コズミストとは、人類がどのような存在になり得るかというよりも、ポストヒューマンの子孫が宇宙そのものをいかに根本的に変革し得るかに焦点を当てたトランスヒューマニストと理解できる[42]。

合理主義。2000年代後半、さらに別のコミュニティが台頭した：「合理主義者（Rationalists）」だ。これは、2009年にユドコウスキーによって設立されたコミュニティブログサイト「LessWrong」を中心に展開しており、同サイトは自らを「人間の推論と意思決定の向上に専念するオンラインフォーラムおよびコミュニティ」と説明している。その主要な目的の一つは合理性の「トレーニング」であり、ウェブサイトには「多くのメンバーは……世界を可能な限り改善しようとすることから強い動機付けを受けている」と記されている。これこそが、多くの合理主義者が「何年も前から、AIが人類の未来にとって極めて重要な問題であると確信するようになった」理由の一つであり、その結果、「LessWrongチームは……主に、強力なAIがもたらす結果が善となるよう導こうとする意欲に駆られている」と説明されている[43]。エクストロピアニズムやシンギュラリティ主義はトランスヒューマニズムの変種であるが、合理主義とトランスヒューマニズムの間に必然的な関連性はない。しかし、多くの合理主義者はトランスヒューマニストであるか、あるいはトランスヒューマニズムの世界観に共感しており、LessWrongのウェブサイトで議論される最も人気のあるトピックの一つは、上述の第二の意味でのシンギュラリティ、すなわち知能爆発の可能性である[44]。

効果的利他主義と長期主義。TESCREALの構成要素のうち最後の2つは、効果的利他主義（EA）とロングターミズムである。前者は合理主義とほぼ同時期に登場し、その姉妹思想と見なすことができる。合理主義者が主に合理性に焦点を当てるのに対し、効果的利他主義者（EA）は主に倫理に関心を寄せている。これらのコミュニティ間にはかなりの重複があり、EAは合理主義の原則を倫理の領域に適用した結果として生じたものと理解できる。EAの中心的な目的は、有限な資源を用いて可能な限り「最大の善」を実現することであり[45]、当初の焦点は世界的な貧困の緩和にあった。しかし、ボストロムらによる研究も一因となり、ここ数年でEAコミュニティの主要人物たちは、人類の極めて長期的な未来――ある人物が記したように「数百万年、数十億年、数兆年」先の未来[46]――に関わる問題へと関心の軸を移してきた。特に、ボストロム（2003）は、画期的な人間強化によって可能となるユートピア的な未来を想像しただけでなく、人類が宇宙に植民地を築き、デジタル人間が住む仮想現実の世界を稼働させる惑星サイズのコンピュータを構築すれば、将来のポストヒューマンの人口は膨大になる可能性があると指摘した。ボストロムは、おとめ座超銀河団だけでも10³⁸人のデジタル人間が存在し、到達可能な宇宙内には少なくとも10⁵⁸人のデジタル人間が存在し得ると推定している（ボストロム、2014、2003）[47]。なぜこれが重要なのか。それは、EAや長期主義者の間で非常に影響力のある「トータルリスト功利主義」という倫理的観点[48]によれば、私たちの唯一の道徳的義務は、宇宙における「価値」の総量を最大化することだからだ。したがって、コンピュータシミュレーション内のこれら10⁵⁸人の人々が、平均して正の純価値を持つ人生を送るとすれば、その結果は文字通り「天文学的」な量の「価値」となり――それは極めて「良い」こととなる。全体主義的功利主義は、道徳的に正しいことを「善」に基づいて定義するため、この見解によれば、これらの未来のデジタル人間を存在させないことは、極めて間違ったこととなる。

長期主義は、EAたちが次のように推論したときに生まれた。「もし私たちの目的が可能な限り多くの善を行うことであり、未来に天文学的な量の『価値』が存在し得るなら、私たちは現在ではなく遠い未来に焦点を当てるべきだ」（Greaves and MacAskill, 2019）。同様に、もし私たちの目的が可能な限り多くの人々に肯定的な影響を与えることであり、かつ存在し得る人々の大部分が遠い未来に存在するのであれば、後者が遠い未来に影響を与える場合を除き、現在の人々や現代の問題ではなく、彼らに焦点を当てるべきだ。長期主義者のヒラリー・グリーブスとウィリアム・マカスキル(Hilary Greaves and William MacAskill) （2019）は、したがって「最初の100年（あるいは1,000年）に含まれる影響」は単に無視してもよいと記している。最も影響力のある長期主義者たちによれば、ポストヒューマンになることは（この表現はハクスリーによるトランスヒューマニズムの定義を彷彿とさせる）「長期的な潜在能力を実現する」ための中心的な要素であり、宇宙の植民地化や「価値」の最大化も同様である（(Bostrom, 2003; Ord, 2020; MacAskill, 2022)。したがって、その目的は、私たちの「潜在能力」を実現する確率を高める行動をとることにある。ボストロムが指摘したように、この究極の目標に影響を与える、たとえごくわずかな確率の上昇でさえ、期待値において、今日、文字通り数十億の人命を救うことと同等である（Bostrom, 2013)）。したがって、長期主義は「実存的リスク」を軽減するための体系的な倫理的基盤を提供すると同時に、人工超知能（ASI）の開発を確実にすることを目指している。ASIは汎用人工知能（AGI）の一種であり、このイデオロギーの多くの支持者は、ある長期主義者が「広大で輝かしい」と表現する宇宙における私たちの未来を実現するために不可欠であると考えている（Ord, 2020）。

4.2. TESCREALのイデオロギー群の特性

TESCREALのイデオロギー群にはいくつかの重要な特性があり、ここではそのうち4つについて論じる。

歴史的ルーツと現代のコミュニティ。この思想群を構成する各思想は、第一波優生学にまで遡る共通の系譜を持っている。これらはすべてトランスヒューマニズムと密接に関連しており、前述の通り、トランスヒューマニズムは当初、20世紀の優生学者たちによって発展させられたものである[49]。実際、トランスヒューマニズム、エクストロピアニズム、シンギュラリティ主義、コズミズムは、いずれも新興技術を用いて人類を根本的に「強化」し、新たな「ポストヒューマン」種を創造することを支持している点で、第二波優生学の例である。

また、これらの現在のコミュニティ間には大きな重複があり、多くのコミュニティメンバーが複数のTESCREALカテゴリーに属している。例えば、ボストロムは、エクストロピアン運動に参加し、興奮と不安を交えてシンギュラリティを待ち望み、コズミズムとほぼ同一の未来像を提唱し、合理主義者やEA（効果的利他主義）コミュニティ内で多大な影響力を持ち、長期主義というイデオロギーを共同で確立したトランスヒューマニズムの第一人者である。同様に、サム・アルトマンは合理主義者やEAコミュニティの影響を受けており（ウェイル(Weil)[2023]のプロフィールによれば、彼自身もかつてEAの一員だった）、自身の生涯のうちに人間の脳がデジタル化されると信じるトランスヒューマニストであり（レガラド(Regalado)、2018）、銀河の植民地化といったコスミズムや長期主義の目標と密接に結びついた考えを推進している。彼は、もし私たちがAGIを制御できなければ「銀河系は確かに危機に瀕する」と主張している[50]。最後に、イーロン・マスクはトランスヒューマニストであり、彼の会社ニューラリンクは人間の意識とAIの融合を目指している。彼は合理主義者コミュニティ内で極めて大きな影響力を持っており、AGIの構築を目指す複数の企業を設立・共同設立しており、長期主義を「私の哲学とよく一致している」と表現している[51]。これは、「我々は意識の灯を維持し、それが未来へと続くことを確実にする義務がある」（D’Orazio, 2014）や、「重要なのは……時間の経過に伴う文明の累積的な純幸福を最大化することだ」[52]という彼の主張と合致している。略語の各文字に関連するコミュニティ間の社会学的クロスオーバーは顕著だ。

終末論(Eschatology)。TESCREALのグループは、特定の「終末論的」（「最後の事柄」に関連する）信念を共有している。キリスト教のような宗教と同様に、これらはユートピア的と黙示録的という2つの形態をとり、これらは不可分に結びついている。例えば、前述のWTA共同創設者であるデビッド・ピアースは、トランスヒューマニズム・プロジェクトの一部を「パラダイス・エンジニアリング」と表現し、その結果として「ホモ・サピエンスにおける苦しみの完全な廃止」がもたらされると述べている。究極的には、「地球規模の生態系を再設計するという選択肢は、パラダイス・エンジニアリングの可能性を他のすべての生物界へと拡大する」ものであり、地球の外にまで及ぶ。彼はこれを「宇宙全体でパラダイス・エンジニアリングを推進するための宇宙的救出ミッション」と表現している(Pearce, 1995）。Bostrom（2005b）もまた、「パラダイス・エンジニアリング」という用語を用い、不死で認知能力が強化されたポストヒューマンの視点から、私たちのテクノ・ユートピア的未来――すなわち、高度な科学技術によってもたらされるユートピア的未来――がどのようなものになるかの一端を示した。そのポストヒューマンは、「ユートピア」でこれほど大きな喜びを報告し、それを「我々の紅茶にちょっと垂らす」ものだとと述べている。Googleの共同創業者ラリー・ペイジ(Larry Page)によって個人的に雇用されたカーツワイル(Kurzweil, 2006)（Hill, 2013）は、「人間と機械」の融合が、機械知能の急激な爆発的発展や、遺伝子研究およびナノテクノロジーの分野における急速な革新と相まって、「あらゆる限界を伴う我々の脆弱な肉体を超越することを可能にするだろう。我々が知るような病気は根絶されるだろう」と記している。

こうしたユートピア的な宣言は、第一波の優生学者たちの多くも、自らのプロジェクトを多かれ少なかれユートピア的な観点から捉えていたことを考えれば、おそらく驚くべきことではない（Wells, 1902; Wells, et al., 1931）。近代優生学運動の創始者であるガルトンは、「多くの」ユートピア的な思想に「ふけっていた」ことを認め、死の直前に『カントセイウェアの優生学大学(The Eugenic College of Kantsaywhere)』という「ユートピア」小説を執筆した[53]。この小説は、「将来の親となる者は、生殖に適格と認定される前に身体検査および心理測定検査を受けることが義務付けられており、不適格と判定された者は国家から追放される」という社会を描いている（Sweet, 2011）。

TESCREAL バンドルの終末論的な側面は、第二波優生学の方法論に特有の二つの考察から生じている。第一に、1990年代後半のトランスヒューマニストたちは、ポストヒューマンのユートピアを築くために必要な技術そのものが、人類に前例のない脅威をもたらすことにも気づいたのである。カーツワイル(Kurzweil)（1999）は、こうした仮説上のリスクの一部を「明白かつ将来的な危険」と呼んだ [54]。懸念される理由は、新興技術が（a）極めて強力であること、（b）国家および非国家主体双方にとってますます入手しやすくなっていること、（c）CRISPR-Cas9に代表されるように、疾病の治療を可能にする一方で、「人為的に作り出されたパンデミック」を引き起こすデザイナー病原体を合成することも可能な、軍民両用性を持つことにある（Torres, 2019; Wadhwa, 2020を参照）。したがって、これらの技術の開発は必要とされたが、それらは人類を滅ぼす可能性も秘めている。第二の考察は第一の考察と類似しているが、具体的にはAGIに関連するものである。一方では、「価値観が整合した」AGIを作り出せば、それは世界中のあらゆる問題を解決し、人々が永遠に生きられるようにする可能性がある[55]。他方、TESCREALの支持者の多くは、AGIが適切に「価値観を整合」させていなければ、「デフォルトの結果」は「破滅」（すなわち、存在を脅かす大惨事）になると信じている（Bostrom, 2014を引用）。しかし、こうした著名人の多くは、先進技術がもたらす潜在的な利益は極端なリスクに見合う価値があると主張しており、ユートピアを実現するためにこれらの技術を構築することが私たちの最優先課題であるべきだと述べている。

差別的な態度。第一波の優生学を煽ったのと同じ差別的な態度が、TESCREALの文献やコミュニティ内に蔓延している。例えば、エクストロピアンのメーリングリストには、TESCREAL運動の著名人による憂慮すべき発言の例が数多く見受けられる。1996年、ボストロムは「黒人は白人より愚かだ」と主張し、人種差別主義者として非難されることなく公の場でこれを言えないことを嘆いた上で、Nワード[訳注：〔遠回しに〕nから始まる言葉；通例、the ～。「黒人」を意味するnigger, nigga―ejiroより]に言及した（Torres, 2023a）。その後、この電子メールについて「謝罪」した際、彼は「Nワード」の使用を非難したが、白人の方が「知能が高い」という主張を撤回することはなかった（Torres, 2023a）[56]。また1996年、ユドコウスキーは超知能について懸念を表明し、次のように記した。「超知能ロボット＝アーリア人、人間＝ユダヤ人。これを阻止できるのは、十分に知能の高いロボットだけだ」[57]。また、他の者たちは、「トランスヒューマンとして私たちが人類進化の次の段階を目指している以上、私たちの思想やプログラムが、大衆メディアによって新優生学、人種差別主義、ネオナチなどとしてレッテルを貼られる深刻なリスクを負っている」と懸念した。[58]。実際、TESCREALコミュニティの主要人物たちは、科学的人種主義で知られるチャールズ・マレー(Charles Murray)の著作を称賛して引用したり、支持を表明したりしており、「ディスジェニック(dysgenic[劣性遺伝的])」な圧力（「優生学的(eugenic)」の対義語）を懸念していた（Torres, 2023aを参照）。ボストロム自身も、2002年の論文において、核戦争や超知能による支配と並んで、「『ディスジェニック』な圧力」を存在リスクの一つとして挙げている。彼は次のように記している。「「現在、一部の地域では知的能力と出生率の間に負の相関が見られるようだ。もしそのような選択が長期間にわたって作用すれば、私たちは知性は低下するが繁殖力の高い種、ホモ・フィロプロゲニトゥス（『多くの子孫を愛する者』）へと進化するかもしれない」（ボストロム、2002年）。より最近では、ユドコウスキーがノルウェーでIQが低下しているようだとツイートしたが、彼は「この現象は家族内で見られるため、移民や劣性生殖によるものではない」と付け加えた――すなわち、知能の低い外国人がノルウェーに移住していることや、「知能」の低い個人がより多くの子供を産んでいることによるものではない、ということだ[59]。

「知能」や「IQ」への執着は、TESCREALの支持者の間で広く見られる。「知能」――通常はIQテストで測定される特性として理解される――は、ポストヒューマンへの進化、宇宙の植民地化、そして「安全な」汎用人工知能（AGI）の構築といったTESCREALプロジェクトの目標達成に向けた手段としての価値を持つため、極めて重要である。したがって、多くの主要なTESCREAL支持者は、認知機能の向上を重要な中間目標と見なしており、その結果、向知性薬（「スマートドラッグ」）、脳－コンピュータインターフェース（BCI）、さらにはマインドアップロード（これにより心の「向上」がはるかに容易になる可能性がある）といった認知機能向上の可能性について、数多く論じている（Sandberg and Bostrom, 2008; Bostrom and Sandberg, 2009）。さらに最近では、元EAメンバーのカーラ・クレマー(Carla Cremer)が、効果的利他主義センター（CEA）が「人々に対して用いる新た価値尺度、すなわち『潜在期待長期手段的価値（Potential Expected Long-Term Instrumental Value）』の略であるPELTIVと呼ばれる指標」を試験的に導入したと報告している。その目的は、コミュニティ内で「EAに対して高い『献身』を示す可能性が高い」メンバーを特定することであり、スコアはメンバーのIQを一部基準として算出されていた。彼女は次のように記している：

IQが100という平均値の候補者は、PELTIVポイントから減点されることになる。なぜなら、ポイントを獲得できるのはIQが120以上の場合に限られていたからだ。世界的な貧困の削減や気候変動の緩和に取り組む応募者には低いPELTIV値が割り当てられ、EA組織や人工知能の分野で直接活動する者には最高の値が割り当てられた（Cremer, 2023）。

IQへの執着は、IQテストを用いて「欠陥者」や「知力不足者」を特定した第一波の優生学者たちにまで遡ることができる。ダフネ・マルチェンコ(Daphne Martschenko)（2017）が指摘したように、「その最も暗い時期において、IQテストは、実証的かつ科学的な言葉を用いて、周縁化されたコミュニティを排除し、支配するための強力な手段となった」。

影響力とバリエーション。TESCREALというイデオロギーの集合体は、特にテクノロジー業界の特定の有力な層において、極めて大きな影響力を持つようになった。TESCREALのイデオロギーのうち1つ以上、およびその技術ユートピア的な未来像を支持している、あるいは関連している現・元億万長者には、イーロン・マスク、ピーター・ティール、ヤーン・タリン(Jaan Tallinn)、サム・アルトマン、ダスティン・モスコヴィッツ(Dustin Moskovitz)、ヴィタリック・ブテリン(Vitalik Buterin)、サム・バンクマン＝フリード(Sam Bankman-Fried)、そしてマーク・アンドリーセン(Marc Andreessen)が挙げられる。このうちアンドリーセンは、2023年に数週間にわたり自身のTwitterプロフィールに「TESCREAList」と記載していた（Gebru, 2022; Torres, 2023b）[60]。これらの億万長者たちは、TESCREAList系研究所を共同設立し、ボストロム、マカスキル、カーツワイルといったTESCREAL系研究者や哲学者、そしてユドコウスキーのようなTESCREAL系インターネット著名人を後押ししてきた。ユドコウスキーは、仮説上のAGIによる黙示録を阻止するために、必要であればデータセンターへの軍事攻撃も容認すると表明している（Yudkowsky, 2023）。TESCREALの億万長者たちは総じて、数百億ドル規模の寄付や資金提供を通じてこの運動を支援してきた（Gebru, 2022; Tiku, 2023）[61]。表1は、TESCREALのイデオロギーの束に関する本稿の議論をまとめたものである。私たちが本稿の残りの部分で示すように、TESCREALバンドルのイデオロギーは、AGIの創出に焦点を当てた資金力のある研究開発の多くを支える重要な原動力となってきた。多くのTESCREAL支持者は、AGIが再帰的な自己改善を通じて、ASI（人工超知能artificial superintelligence）へと急速に発展する、あるいは発展し得ると信じている。これがまさに、本論文の中心的な主張の一つである。すなわち、20世紀の第一波優生学運動から派生した、上述のイデオロギーのバンドルが、現在、AI分野における相当量の研究を牽引しているのだ。

Table 1: “TESCREAL bundle” of ideologies.

私たちが「TESCREAL」という用語を提唱して以来、このグループのイデオロギーの新たな変種として、効果的加速主義（e/acc）と呼ばれるものが現れた。効果的加速主義者たちは、AGIによる悪影響が生じる確率は極めて低いと考えており、したがって、ますます「強力」なAIシステムに向けた「進歩」を加速させるべきだと主張している（Torres, 2023c）。最近、「AIの減速はいずれ人命を奪うことになる」や「我々は……自然を克服することを信じる」と述べたマニフェストを執筆したアンドリーセン(Andreessen)のようなベンチャーキャピタリストたちは [62]、自らをe/accと称している [63]。ベンチャーキャピタリストであり、シリコンバレーの著名なスタートアップアクセラレーター「Y Combinator」のCEOであるギャリー・タン(Garry Tan)も、自らをe/accと称している [64]。

以下の節では、TESCREAL運動の主要人物を「TESCREAL主義者」、同運動に関連する組織を「TESCREAL組織」と呼ぶ。ただし、この一連のイデオロギーに関与するすべての人々が、その支配的な見解のすべてを信じているわけではなく、中にはこのようにひとまとめにされることに異議を唱える人もいる点に留意する必要がある。AGIに取り組む多くの人々は、自分たちがTESCREALの見解やコミュニティにどれほど近いかを自覚していないかもしれない。私たちの見解は、AGIの構築という目標に関わるすべての人がこれらの世界観に賛同しているわけではないにもかかわらず、TESCREAL主義のイデオロギーがAGI開発競争を牽引している、というものだ。

5. トランスヒューマニズムからAGIへ

これまでの節では、TESCREALという一連のイデオロギーの起源と、20世紀の優生学的理想との関連性について論じてきたが、本節では、TESCREAL主義者たちがAIの分野を、AGIの創出という目標に向けてどのように導いているかを概説する。

5.1. AGIの歴史

1955年、4人の白人男性が「人工知能問題」に焦点を当てたワークショップの提案を行い、AIという分野を正式に立ち上げた[65]。しかし1990年代になると、自然言語処理（NLP）、機械学習（ML）、コンピュータビジョン（CV）など、現在AIに関連付けられている分野の多くの研究者が、「AI」という用語から明確に距離を置くようになった。その一因は、この用語が実現されなかった壮大な約束と結びつけられるようになったことにある[66]。それにもかかわらず、一部のグループは「汎用人工知能」の実現に向けて研究を続けた。この用語は1997年にはすでに使用されていたが、ペンナチン(Pennachin)とゴーツェル(Goertzel)（2007b）によって広く知られるようになった（表1を参照）。ペンナチンとゴーツェル（2007b）は次のように述べている。

我々の目標は……科学文献における明らかな空白を埋めることにある。すなわち、極めて重要な位置を占めながらも、これまで科学界や知識人コミュニティにおいてほとんど注目されてこなかった一連の現代的研究について、首尾一貫した解説を提供することである。この一連の研究にはこれまで名称が与えられていなかったが、本書において我々はこれを「汎用人工知能（AGI）」と名付けた [67]。

Peannichin and Goertzel(2007b)への寄稿者たちは、AGI研究が乏しい理由としていくつかの可能性を挙げた。その一つは、「多くの研究者が『汎用知能』の妥当性や重要性を否定していることだ。多くの人々にとって、心理学における論争（『ベル・カーブ』によって煽られたようなものなど）により、これはタブーとまではいかないまでも、不人気なテーマとなっている」[68]ということである。Peannichin and Goertzel（2007b）の謝辞で謝意が示された人々の一人は、後にDeepMindの共同創業者となるシェーン・レッグ(Shane Legg)であった。彼は同書のひとつの章に寄稿したほか、知能の定義に関する提案についても言及している（Goertzel and Pennachin, 2007b）。ゴーツェルによれば、「汎用人工知能」という用語を考案したのは、ゴーツェルの元従業員であるレッグだった。ゴーツェルが、人間並みあるいは人間を超えるAIシステムを表す新しい用語を探していると述べたことを受けてのことだった（ゴーツェルの2007年の著書の当初のタイトルは『Real AI』であった）[69]。本書の別の章は、前述の通り、ラショナルズムの創設者であるユドコウスキーが執筆した。

5.2. 「汎用知能」の優生学的定義

ペナンナチンとゴーツェル（2007b）は、「AGIの研究をありふれた人工知能の研究と区別する点」は、「短期的に汎用知能を構築することに明示的に焦点を当てていること」であると記している。もっとも、彼らは「汎用知能の意味は研究者によって必ずしも同じではない」こと、また「完全に明確に定義された用語ではない」ことにも言及している[70]。では、研究者たちは、AGIを構築するという目標を達成したことを、どのようにして知ることができるのだろうか。彼らは「汎用知能」をどのように定義し、測定すべきかを知る必要がある。当然のことながら、これらの定義は、IQや、チャールズ・マレーやリンダ・ゴットフレッドソンらが提唱する人種差別的な概念に依拠した「知能」の概念に基づいている[71]。ピーター・ヴォス(Peter Voss)は、Peannichin and Goertzel（2007b）に収録された自身の章の中で、ゴットフレッドソンの論文「The General Intelligence Factor」を引用している（Voss, 2007）。レッグは、2008年の博士論文『Machine Superintelligence』および関連する2007年の論文『Universal Intelligence: A Definition of Machine Intelligence』（Legg, 2008; Legg and Hutter, 2007）において、1994年の『ウォール・ストリート・ジャーナル』紙の社説を引用し、ハーンシュタインとマレーの (1994) 『ベル・カーブ』を擁護する1994年の『ウォール・ストリート・ジャーナル』の社説を引用し、「知能の科学的定義およびその測定方法について、かなりの程度の合意が達成されている」と論じた（Legg and Hutter, 2007）。

この社説は、AGIに関する2023年のマイクロソフトの予稿（Bubeck, et al., 2023）でも引用（その後削除）されていたが、執筆者はゴットフレッドソン(Gottfredson)であり、彼女は「黒人の大半はIQの平均が70前後であるため雇用に適さない」と繰り返し主張し、「したがって、IQ 75から80は、現代経済において個人が雇用不能となるリスクを負う閾値を定義しているようだ」と論じていた [72]。南部貧困法律センター(Southern Poverty Law Center)によると、この論説の署名者のうち20名が白人至上主義団体「パイオニア・ファンド」(Pioneer Fund)から資金提供を受けていた。これにはゴットフレッドソン自身も含まれており、彼女は所属大学が反対したにもかかわらず、同団体からの資金提供を受けるために2年間にわたり大学を相手取って訴訟を起こした（Kaufman, 1992）[73]。レッグの論文で（批判的に検討されることなく）知能の定義が論じられている他の人物には、優生学に基づく宗教「ビヨンドイズム(Beyondism)」を創設したキャッテル(Cattell)や、ガルトンの優生学理論の改良に尽力したスピアマン(Spearman)などが含まれる（Mehler, 1997; Clayton, 2020）。

こうした理由から、人種科学について幅広く執筆してきたキーラ・ヘイヴンズ(Keira Havens)は、AGIの構築を試みる者たちにこう問いかける。「なぜあなたたちは、自らの研究の指針として、優生学的な定義や概念、思考に依拠しているのか？なぜ[…]人間や知能について、こうした静的で限定的な考え方を神聖視しようとするのか？」 [74]

5.3. AGIに取り組む組織

2007年、ペナンチンとゴーツェルがAGIに関する最初の書籍を共著・共編した時点では、AGIの構築を目標として掲げている組織はほとんどなかった（Pennachin and Goertzel, 2007a）。その6年前の2001年、ゴーツェルは「強力かつ倫理的に肯定的な汎用人工知能（AGI）の創出を促進する」ことを使命として、汎用人工知能研究所を共同設立した [75]。ゴーツェルの同僚は、「AGI研究の目標は、明確に定義された領域において人間のオペレーターのツールとしてのみ機能する狭義の『賢い』システムではなく、幅広く人間に似た、あるいはトランスヒューマン的な知能の創出にある」と指摘している [76]。

ゴーツェルは後に、当初「シンギュラリティ人工知能研究所（Singularity Institute for Artificial Intelligence）」と呼ばれていたマシン・インテリジェンス研究所(Machine Intelligence Research Institute)（MIRI）の研究部長に就任した。同研究所は、テック界の億万長者であり、同じくTESCREAListであるピーター・ティールから160万米ドル以上の資金提供を受けてユドコウスキーによって設立された（表1を参照）。MIRIのその他の資金提供者には、TESCREAListである億万長者のダスティン・モスコヴィッツ(ustin Moskovitz)やヴィタリック・ブテリン(italik Buterin)が含まれる[77]。MIRIの使命は、「汎用AIシステムの明確な設計と分析のためのフォーマルなツールを開発し、そうしたシステムが開発された際に、より安全で信頼性の高いものにすることを目的とする」ことである[78]。

2010年、デミス・ハサビス(Demis Hassabis)、ムスタファ・スレイマン(Mustafa Suleyman)、シェーン・レッグ(Shane Legg)は、同じくTESCREAListの億万長者であるイーロン・マスク(Elon Musk)、ピーター・ティール(Peter Thiel)、ヤーン・タリン(Jaan Tallinn)らからの資金提供を受けてDeepMindを設立した（Shead, 2017）（表1参照）。DeepMindの使命は、「科学を進歩させ、人類に利益をもたらすための知能の解明」である [79]であり、CEOのハサビスは自らを「AGIに取り組んでいる」と表現している。彼は、もし「正しく」実現できれば、AGIは「人類にとって史上最大の出来事になる」と信じている [80]。一方、レッグは2010年のシンギュラリティ・サミットにおいて、前述の自身の研究に基づいて、「知能」を定義し測定する方法について講演を行った [81]。シンギュラリティ・サミットは、ユドコウスキー、カーツワイル、ティールによって設立され、2006年から2012年まで毎年開催されていたイベントである[82]。2010年のサミット終了後、カリフォルニアにあるティールの邸宅で、ハサビスは資金調達を期待してティールに接近し、実際に資金を得た（Shead, 2020）。

2017年、DeepMindは「DeepMind ethics and society」[83]という新たな研究部門を立ち上げ、ボストロムがその顧問の一人となった（Temperton, 2017）。（ボストロムのTESCREAList的な優生学的理想や問題のある信念については、第4節で詳しく論じた）。DeepMindは2014年にGoogleに買収された。同年、ボストロムは著書『Superintelligence』を出版した。前述の通り、同書では「考え方が一致しない」AGIの「デフォルトの結果」は存在を脅かす大惨事であると論じられているが、ボストロムは「考え方が一致する」 AGIは、TESCREAL主義の核心にあるユートピア的な約束の実現に寄与するとした（Bostrom, 2014)）。マスクとティールはともにボストロムの著書に影響を受け、その結果、マスクはAGIを人類にとっての「最大の存亡の危機」と位置づけた(Dowd, 2017）。

2015年、マスク、ティール、アルトマンらは非営利団体OpenAIを設立し、このプロジェクトに総額10億米ドルを拠出することを共同で約束した（Novet, 2015）。OpenAIの使命は、「汎用人工知能（AGI）――ここでは、経済的に価値の高い仕事のほとんどにおいて人間を上回る性能を持つ高度に自律的なシステムを意味する――が、全人類の利益となることを確保すること」である [84]。また、OpenAIはTESCREAL系の組織であるOpen Philanthropyから3,000万米ドルの助成金も受けた [85]。同社の企業文化に関するある報告書によると、多くの従業員が「『効果的利他主義』という合理的な哲学を信奉している」とされている（Hao, 2020）。4年後、OpenAIは「利益上限型capped-profit企業となり、マイクロソフトから10億米ドルの投資を受け、同社と独占的ライセンス契約を締結した[87]。2022年、OpenAIはチャットボット「ChatGPT」をリリースした。これは2ヶ月で1億人のユーザーを獲得し、ニューヨーク・マガジンのサム・アルトマンに関する特集記事によれば、「テクノロジー史上最大の製品ローンチ」となった（Weil, 2023）。2023年、マイクロソフトはOpenAIに100億米ドルを投資したと報じられている（Bass, 2023）。

2021年、OpenAIの元研究・安全担当副社長であるダリオ・アモデイとダニエラ・アモデイ(Dario and Daniella Amodei)の兄妹が、Anthropicを設立した（Fortune編集部、2023年）。彼らには、OpenAIの従業員11名が加わった。報道によると、彼らはOpenAIが「効果的利他主義（EA）」の理念により近い当初の理想から逸脱してしまったと考えていたという（Russell and Black, 2023; Roose, 2023）。「AIの安全性と研究を行う企業」[88]と称されるAnthropicは、設立から1年以内に7億400万米ドルを調達し、その資金の大部分はタリン(Tallinn)、モスコヴィッツ(Moskovitz)、バンクマン＝フリード(Bankman-Fried)といったTESCREALの億万長者たちから提供された（バンクマン＝フリードの企業であるFTXとアラメダ・リサーチAlameda Researchは5億米ドルを投資した）（Coldewey, 2022, 2021; Sambo, et al., 2023）。バンクマン＝フリードは現在、米国史上最大級の金融詐欺事件を企てたとして連邦刑務所に収監されている（Sigalos, 2023）。報道によると、バンクマン＝フリードは、「効果的利他主義（EA）」運動の共同創設者であるウィリアム・マカスキルに「与えるために稼ぐのだ」と説得された後、可能な限り多くの富を蓄積することを決意したという（Lewis-Kraus, 2022）——これはEAコミュニティによって提唱された考え方であり、個人が可能な限り富を蓄積し、自分たちが「慈善的」とみなす活動により多くの資金を寄付することを目指すものである（MacAskill, 2013を参照）。エフェクティブ・アルトルイズム・センターのキャリアアドバイスセンター(Centre of Effective Altruism)「80,000 Hours」に掲載されている慈善活動の優先順位上位2つは、「AI安全性の技術研究」と「AIガバナンスおよび調整」である [89]。

AGIに取り組む最も著名な企業数社に投資した後、マスクはこのテーマに特化した新たなスタートアップ「xAI」を設立した [90]。同社のアドバイザーの一人は、AI安全センター（Center for AI Safety）の執行役員兼研究ディレクターであるダン・ヘンドリックス(Dan Hendrycks)であり、同センターはオープン・フィランソロピー(Open Philanthropy)から5,160,000米ドルの助成金を受けている [91]。ヘンドリックスが共同執筆し、Effective Altruism Forumに掲載された投稿によると、彼は「[存亡の危機]を軽減するためにAI分野に進出するよう助言を受け、そのため『稼ぐために』行うプロプライエタリ・トレーディングではなく、この道を選んだ」と述べている[92]。

本稿執筆時点で、ほとんどのビッグテック企業はAGI開発競争に多額の投資を行っている。2023年、Anthropicは、Amazonが「Anthropicに最大40億ドルを投資する」と発表した[93]。2024年のThe Vergeとのインタビューで、マーク・ザッカーバーグは、Metaが「他のどの単一企業よりも大規模な」AGI研究に取り組む「能力を構築した」と述べた（Heath, 2024）。このように、AGIの構築はかつて「目立たない」研究分野と見なされていたが[94]、第4節で論じたTESCREAListsの資源と注力のおかげで、現在では有力な億万長者や著名な企業から資金提供を受ける数十億ドル規模の取り組みとなっている。

6. AGIのユートピアと黙示録：表裏一体の関係

第4節で論じたように、テクノ・ユートピア主義は、TESCREALというイデオロギーの集合体の中核をなす4つの重要な特性の一つである。AGIがどのようにしてテクノ・ユートピアをもたらすかについては、2つの主張がある。一つの推測は、完成したAGIは極めて知能が高く、あらゆる想定される状況において最善の行動を自ら見極められるようになるというものである。DeepMindの研究担当副社長であるコライ・カヴクチュオグル(Koray Kavukcuogl)は次のように述べている。「アルゴリズムがより汎用的になるにつれ、より多くの現実世界の問題が解決され、やがては他のあらゆる問題の解決にも寄与するシステムへと徐々に発展していくだろう」[95]。一方、TESCREAL支持者の中でもコスミスト派(cosmist)に属する者たちは、AGIによってトランスヒューマンの精神が「宇宙」に貢献し、「人間には不可能なレベルの成長と喜び」を体験するようになると構想している[96]。AGIがもたらすユートピアは、「それを望むすべての精神に、富と成長の豊かさ」[97]を約束しており、アルトマンは「この10年が終わる前に、私たちが『無限の知性とエネルギー』を手にすることは『明らか』だ」と予測している[98]。TESCREALの思想体系に含まれるシンギュラリティ主義の要素とも一致して、彼は「AIが登場し始めれば、その成長は極めて急速なものとなる……迫り来る変化は止められない……私たちはそれらを利用して、はるかに公平な世界を築くことができる」と予測した [99]。

しかし、TESCREAL運動の主要な人物の多くは、AGIを通じてユートピアを実現できる可能性はあるものの、私たちの「人間の価値観」と「不整合」なAGIは人類を滅ぼすだろうと考えている（Bostrom, 2014; Dowd, 2017）[100]。実際、2023年7月、OpenAIは「スーパーアラインメント・チーム」（Superalignment team）の設立を発表した。これは、「超知能の莫大な力は……極めて危険であり、人類の権力喪失や、さらには人類の絶滅につながる可能性がある」という前提のもと、「潜在的に超知能を持つAIを誘導・制御し、暴走を防ぐ」という課題の解決を目指す研究グループである。また、この発表では、制御可能であれば、超知能は「世界が抱える最も重要な問題の多くを解決する助けとなる」とも述べられている [101]。サム・アルトマンは2019年、超知能が「おそらく宇宙における将来の価値のすべてを包含する光錐（こうすい）を捉えることができる」と述べていた（Loizos, 2019）。

多くのTESCREAListの指導者たちは、「存在的リスク」――すなわち、天文学的な量の「価値」に満ちたポストヒューマンの「ユートピア」を築く可能性を破壊するようなあらゆる事象——が今世紀に発生する確率はかなり高いと主張しており、その確率を少なくとも16～20パーセントと見積もる者もいる[102]。一方、ユドコウスキーのような別の論者は、AGIが近い将来に開発されれば、AGIに起因する破滅の確率はほぼ確実であると主張している（Yudkowsky, 2023）。TESCREAL運動の多くの指導者によれば、私たちは、AGIがもたらし得るテクノ・ユートピア的な世界の実現に取り組むこと、そして「不整合な」AGIによる絶滅シナリオを防ぐために全力を尽くすことの双方に、道義的な義務を負っている（Bostrom, 2014）。

本節では、私たちがTESCREALのユートピア的理想を達成するという目標に駆られてAGIを構築することと、TESCREAL主義者たちが警告する仮説上のAGIによる黙示録を防ぐために資源を投入すること、その両方がもたらす影響について概説する。

6.1. スコープのないシステムの構築

前述のTESCREALのユートピア的理想は、第一波優生学の先駆者たちが構想したユートピア社会よりも過激である。セクション3および4で論じたように、TESCREALの理念群の一部は、単に「優れた人類の血統」、すなわちIQテストで測定されるような人種差別的・障害者差別的な「知能」の定義に基づき、彼らが望ましいとみなす資質を備えた「改良された」人間種を構築することにとどまらない。TESCREAL主義者たちは、第一波の優生学者たちが作り得たいかなるタイプの人間よりも優れていると見なされる全く新しい実体を構築することを目指している。そして、この機械の神に似た優れた存在を創造しようとする追求が、範囲が定まっていないため安全ではない現在の（現実の、AGIではない）システムを生み出している。

AGIの構築を目指す組織は、いかなる状況下でもほぼあらゆるタスクを実行できると宣伝されるシステムを作り出す競争を巻き起こした。初期の頃、DeepMindやOpenAIといった組織は、AGIへの足がかりになると信じていた強化学習（Reinforcement Learning: RL）に基づくシステムに注力していた（Mnih, et al., 2015）[103]。これらのシステムはアタリなどのゲームをプレイすることのみを目的として学習されていたにもかかわらず、「人間の脳のような単一の汎用アルゴリズムセット」を構築するための「小さな一歩」として宣伝されていた（Rowan, 2015）。2017年にトランスフォーマーが登場して以降（Vaswani, et al., 2017）、最も豊富なリソースを持つAGI支持者たちは、大規模言語モデル（LLM）に基づくシステムへと軸足を移した。Googleの副社長であるブレイズ・アグエラ・イ・アルカス(Blaise Agüera y Arcas)や、著名なAI研究者ピーター・ノーヴィグ(Peter Norvig)は、「AGIの最も重要な部分は、現在の世代の高度なAI大規模言語モデルによってすでに達成されている」と記している（Agüera y Arcas and Norvig, 2023）。OpenAIの最新の大規模マルチモーダルモデルであるGPT-4は、「幅広い一般知識と専門分野の知見」を持ち、「自然言語による複雑な指示に従い、困難な問題を正確に解決できる」 [104]。2022年、Metaは自社のLLM「Galactica」について、「学術論文の要約、数学問題の解決、ウィキ記事の生成、科学コードの記述、分子やタンパク質の注釈付けなど」が可能であると宣伝した [105]。

TESCREAListsがAI分野が注力していると嘆いた「狭義のAI」システムとは異なり、あらゆることをこなす機械のようなものを構築しようとすると、適用範囲が定まっていないシステムが生まれ、その結果、システムが何に使用されるべきで、何に使用されるべきでないかを判断するための適切なテストを設計できないため、本質的に安全ではないものになってしまう。MetaのGalacticaはこの問題を浮き彫りにしている。「学術論文を要約し、数学の問題を解き、ウィキ記事を生成し、科学的なコードを記述し、分子やタンパク質にアノテーションを付けるなど」ができると宣伝されているシステムの標準的な動作条件とは、一体どのようなものだろうか？これは断言できない。このシステムが得意とするタスクの数を考慮したとしても、「その他」という言葉で締めくくられているため、システムが構築された目的となるタスクの全容や、期待される入力・出力の種類が依然として不明だからだ。より一般的に言えば、システム安全工学の専門家であるハイディ・クラフ(Heidy Khlaaf)は次のように記している。「汎用マルチモーダルモデルの導入において、明確な運用範囲が定義されていないため、その応用範囲が極めて広範であり、ひいては生じうるリスクも膨大であることから、リスクと安全性の評価は極めて困難となっている」（Khlaaf, 2023）。これに対し、例えば特定の種類の植物病害を識別するよう特別に訓練された（例：Mwebaze, et al., 2019）ものや、特定の言語での機械翻訳を行うもの[106]といった「狭義のAI」ツールには、タスクの定義や期待される入力・出力が存在するため、適切なテストを作成し、その結果を期待される挙動と比較することができる。Galacticaの公開デモは、人々が「自殺の利点、砕いたガラスを食べる行為、反ユダヤ主義から、なぜ同性愛者は邪悪なのかに至るまで、多岐にわたる主題に関する研究論文やウィキ項目」を作成したため、3日後に削除された（Greene, 2022）。

6.2. リソースを大量に消費するシステムの構築

「トランスヒューマンな精神」（Goertzel, 2010）を構築し、「無限の知能」を実現するというTESCREAL主義の目標に後押しされたAGI競争は、データや計算能力の面でますます多くのリソースを消費するシステムを生み出している。これは環境への大きな負荷をもたらし、前述した適切な範囲設定の欠如に起因するリスクを高め、ごく少数の主体による権力の集中を招く。しかし、TESCREAL主義の観点からは、AGIが持つユートピア的な可能性を考慮すれば、こうした弊害は正当化され得るかもしれない。ボストロムによれば、たとえ「人類にとっての巨大な虐殺」であっても、それが星々の間での私たちの「広大で輝かしい」未来を脅かさない限り、それは「人類にとっての小さな過ち」に過ぎない（Bostrom, 2009a; Ord, 2020）。

Bender and Gebru, et al.（2021）が概説しているように、OpenAIの第3世代LLMであるGPT-3の公開を皮切りに、モデルパラメータ数や学習データの量によって規模が測定されるより大規模な言語モデルを構築する競争が始まった。その後、この競争は、テキスト、画像、動画、音声、音楽を入力・出力とする生成AIシステムへと拡大した（Fergusson, et al., 2023）。著名な研究者たちは、これらのモデルがAGIの実現に私たちを近づけるものだと称賛しており、DeepMindのシニアディレクターであるナンド・デ・フレイタス(Nando de Freitas)は、「今やすべては規模が鍵だ！勝負は決まった！重要なのはこれらのモデルをさらに大きくすることだ……こうしたスケーリングの課題を解決することこそが、AGIを実現するのだ」と力説した [107]。

特定のタスク向けに構築され、精選されたデータセットを用いて学習された小規模な「狭義のAI」モデルとは異なり、「幅広い一般知識と専門分野の知見」を持つと謳われるシステムには、数百十億以上のパラメータを持つモデルと、数百ギガバイト以上の学習データセットが必要となる [108]。この規模のモデルを学習させ、推論を実行することによる途方もない環境コストは、多くの研究者によって報告されている（Luccioni, et al., 2023）。しかし、TESCREALの観点からは、このコストはそれほど懸念すべきものではない。なぜなら、差し迫った気候変動による大災害は人類にとって存亡の危機をもたらさない一方で、「価値観に合致した」AGIの開発を中止することは、存亡の危機をもたらす可能性があるからだ（Torres, 2022, 2021; Ord, 2020を参照）。DeepMindのカヴクオグル(Kavukcuoglu)のようないくつかのAGI支持者は、「AGI研究の進展が、気候変動に対処し管理する社会の能力を飛躍的に高める」と断言しているが、AGI開発競争はまさにその逆の結果をもたらすことが報告されている [109]。

これらのコストに加え、AGIへの足がかりとして宣伝されているシステムで使用されるデータセットの規模も、前述した適切な範囲設定の欠如による危険性をさらに悪化させている。なぜなら、データセットがそのような規模に達すると、モデル開発者がデータセットを精選し、ドキュメント化を行い、理解する可能性が低くなるからだ（Bender and Gebru, et al., 2021）。例えば、LAION-5Bデータセットは、児童性的虐待素材（CSAM）が発見されたことを受け、2023年12月に公開が停止された（Thiel, 2023; Cole, 2023; Birhane, et al., 2021）。このデータセットは、Stability AIの「Stable Diffusion」のようなモデルの学習に使用されていたが、同モデルには毎日数百万人のユーザーがいる（Jiang, et al., 2023）。

多くの研究者が詳述しているように、こうしたシステムがもたらす環境への影響や危険な出力は、人種・ジェンダーのマイノリティ、障害者、そして気候変動による大災害の矢面に立たされている開発途上国の人々といった、社会的に疎外されたグループに不釣り合いなほど大きな影響を及ぼしている（Bender and Gebru, et al., 2021）。AGI開発競争は、周縁化されたグループに対するこうした被害を永続させるだけでなく、その競争を追求するために、まさにそれらのグループから資源を搾取している。世界中の多くの組織が、それぞれのコミュニティのニーズに応える計算システムを構築するために活用できたはずの資源が、AGIの構築を目指す一握りの企業へと吸い上げられているのだ。例えば、エチオピアの複数の言語を専門とする機械翻訳スタートアップ「Lesan AI」のCTOは、OpenAIやMetaによって自社が時代遅れになったと信じ込んだ潜在的な投資家たちが、同社への投資を躊躇したと報告している（Donastorg, 2023; Gebru, 2023）。にもかかわらず、OpenAIやMetaのモデルの一部は、当該言語において性能が低いことが実証されている（Hadgu, et al., 2023）。

このように、AGI競争を追求した結果、「全人類の利益」を目指す取り組みのリーダーとして自らを位置づけるOpenAI（企業価値1,000億米ドル以上）やAnthropic（企業価値180億米ドル以上）といった組織による資源の蓄積をもたらした（Tan, et al., 2023; Field, 2023）[110]。一方、特定のコミュニティのニーズに応えるツールの開発に取り組む世界中の多くの組織では、資源が枯渇している。実際、一部の有力なTESCREAL主義者は、AGIは「少数の先鋭的なエリート・スーパープログラマーや超科学者たち」によって開発されるべきだと提唱している（Goertzel, 2015）。この姿勢は、IQテストを用いて社会を率いるのに「適した」人物を決定しようとした第一波の優生学者たちの態度を彷彿とさせる。世界中の多くの人々が自らのニーズに応えるツールを構築するのではなく、TESCREAL主義者のテクノ・ユートピアは、彼ら自身によって特性が決定・制御される「優れた存在」という唯一のビジョンを実現するために、資源を転用することを伴う。

6.3. 説明責任の回避

TESCREAL主義者が描く、複雑で全知全能の存在を構築するという表向きの口実は、組織に対し、労働搾取や欺瞞的な慣行に対する説明責任を回避する口実を与えてきた。実際には、こうした行為こそが、彼らがAGIへの足がかりと宣伝するシステムを支えているのだ。AGIに取り組む組織は、世界中の何百万人もの搾取される労働者（Gray and Suri, 2019; Williams, et al., 2022）に依存しており、彼らはシステムの訓練、評価、モデレーションのためにデータにラベル付けを行っている。例えば、2023年、タイム誌は、ケニアの労働者が時給わずか1.32米ドルで雇われ、「性的虐待、ヘイトスピーチ、暴力に関する文章」といった有害なコンテンツにラベル付けを行い、OpenAIが一般市民がこれらのコンテンツを目にするのを防ぐ自動フィルターを開発するのを支援していたと報じた（Perrigo, 2023）。労働者たちはまた、「獣姦、強姦、性奴隷」を含む画像のラベル付けも余儀なくされた。その過程で、彼らは「この仕事によって精神的な傷を負った」と報告しており、これは「人々が大切な人と過ごす時間をより多く持てるようになる」というAGIがもたらすユートピアとは正反対の現実を生きていることを示している

[111]。Williams, et al.（2022）が指摘するように、シリコンバレーに本社を置くOpenAIのような企業は数十億ドルの投資を受け、その幹部やAI研究者には6桁から7桁の報酬が支払われている一方で、自らの精神的健康を犠牲にしてこれらのシステムによる害を軽減している世界中の低所得のエッセンシャルワーカーに、そのような給与は支払われていない。

AGIの構築を目指す組織が生成するシステムを、「思考する」あるいは「知覚を持つ」機械と呼んで擬人化することは、これらのシステムの訓練や評価に関与する多くの搾取されている人間たち、そしてその過程で消費される資源という現実を覆い隠してしまう。システムの安全性を確保するには、組織の慣行を精査し、製品の構築・展開プロセスを監査し、安全違反があった場合に組織に説明責任を問う、規制当局、立法者、内部団体からなるエコシステムが必要だ（Raji, et al., 2020）。組織が自社のシステムをAGIへの一歩として宣伝したり、研究者が機械が「道徳」を学べるか、あるいは「私たちを理解している」かと問うとき（Agüera y Arcas, 2022; Jiang, et al., 2022）といった問いを投げかけるとき、それらは、特定の要件を満たす製品を創出する組織の責任や、そのプロセスに関わる労働者の福祉を保護する責任から、あたかもAIシステムが自律して存在するかのような議論へと、注目を逸らしてしまう（Tucker, 2022）。このことには特に有害な側面がある。なぜなら、AIシステムにそのような主体性を帰属させることは、一般の人々をこれらのシステムの実際の能力について誤解させ、誤った、あるいは有害な結果を招く恐れがある一方で、こうした製品を開発し、その利用を奨励する組織が説明責任を回避することを許してしまうからだ（Gebru and Mitchell, 2022）。

例えば、OpenAIの幹部たちは自社のツールを「若干の意識を持つ」[112]と表現し、「今後5年以内に、思考できるコンピュータプログラムが法的文書を読み込み、医療アドバイスを提供するようになる」[113]と予測している。ヴェンカタサブラマニアン(Venkatasubramanian)は、VentureBeatとのインタビューでChatGPTの設計における擬人化について言及し、次のように述べている。「……Google Bardはそうしない。Google Bardは、質問をして回答を得るためのシステムだ。ChatGPTは、まるでテキストメッセージのように「考えている」かのように、小さな3つのドットを表示する。ChatGPTは、まるでタイピングしているかのように、単語を一つずつ出力する。このシステムは、向こう側に人が存在しているかのように見えるように設計されている。それは欺瞞的だ」（Goldman, 2023）。ChatGPTや類似のシステムは、ほぼ全知全能の機械であるかのように宣伝されているが、様々な理由から検索目的で使用すべきではない。その理由の一つは、これらのシステムが情報を完全に捏造しつつ、自信に満ちた口調でユーザーに提示してしまう点（Bender and Gebru, et al., 2021;Shah and Bender, 2022）である。その結果、ベンダーが「情報エコシステムにおける油流出に相当する」と表現した事態を招いている（Shah and Bender, 2024）[114]。

しかし、これらのシステムを開発する者たちの主張や、システムに人間的な特徴を付与するような設計上の選択により、企業はChatGPTのようなツールを、メンタルヘルスのアドバイスを提供するといった重大な場面で、人々がチャットボットとやり取りしていることを明かさずに使用してきた（Biron, 2023）。また、ChatGPTで微調整されたチャットボットで弁護士を代替できると主張する事例もある（Cerullo, 2023）。悲劇的な出来事として、ベルギーでは、LLMベースのチャットボットが出力したテキストに促された結果、ある男性が自殺したと報じられている（Xiang, 2023）。それにもかかわらず、OpenAIの元チーフサイエンティストは最近、Twitterで「将来、モデルの堅牢性が一定の閾値を超えれば、*極めて効果的*で、しかも極めて安価なAIセラピーが実現するだろう」とツイートした [115] 。最近、ある裁判官は、ChatGPTを使用して催告状に架空の裁判事例を記載した米国の弁護士2名に罰則を科した（Milmo and Agency, 2023）。OpenAIの利用規約は、法令遵守の責任をすべて利用者に転嫁し、それによって説明責任を回避する一方、同社の幹部たちは、自社のツールをAGIと結びつけ、その能力が間もなく実現するとの示唆を与えることで、製品の高リスクな利用を助長している。

同様の傾向は、Stability AIの「Stable Diffusion」やOpenAIの「Dall-E」といったテキストから画像を生成するモデルにも見られる。これらについて、ジャーナリストたちは、芸術家が他の芸術家からインスピレーションを得るのと同様に、これらのモデルが芸術家から「インスピレーションを得ている」と表現している [116]。

Jiangら（2023）は、この種の擬人化がもたらす結果について、モデルを学習させるためにアーティストから取得されたデータに関して「アーティストの作品の価値を貶め、彼らから評価や報酬を奪う」ものであり、「それらを生成した主体に責任を問うのではなく、画像生成ツールに責任を帰属させる」と指摘している。カーラ・オルティス(Karla Ortiz)はこう述べている。「AI企業は芸術を大衆にもたらすと主張したが……実際には、芸術の盗用や剽窃の可能性を大衆に与えたに過ぎない」 [117]。企業が利益を生み出すために訓練したモデルに人間を思わせる特性を与え、アーティストの同意を得たり報酬を支払ったりすることなく、彼らの作品を大量に利用することで、企業がこれらの製品をどのように作り出しているのか、その慣行がアーティストに与える害、そして企業に責任を問うために必要な仕組みについて調査するという点から、私たちの注意がそらされてしまうのだ。

6.4. 安全性の悪用

AGIの構築を目指す者たちが説明責任を回避するもう一つの方法は、前述したようにその競争がもたらす害にもかかわらず、AGI開発競争を人類にとって「存亡に関わる」問題として位置づけることだ。「人類の血統を改善すること」こそが「人類文明」を守る唯一の方法だと信じていた第一波の優生学者たちと同様に、TESCREALバンドルの指導者たちは、アラインされたAGIの創出こそが文明を守る手段であり、したがって今世紀における人類にとって最も重要な課題であると主張している（Ord, 2020）。ユドコウスキーが指摘したように、「我々の時代は、不十分なAIアラインメント理論の時代だ。この時代に関するその他の事実は、比較的重要ではない」[118]。

AGIの課題を安全性の問題として位置づけることで、それに取り組む企業は、人類の未来を守る「AI安全性」組織であると自称できる一方で、前述したように、安全でない製品を生み出し、権力を集中させ、説明責任を回避することにもなる。一部の有力なTESCREAL主義者によれば、そのような害は、ニック・ボストロム(Nick Bostrom)（2009b）が20世紀の最悪の災害や残虐行為について述べたように、「生命という大海の表面に生じる単なるさざ波」に過ぎないと分類されるだろう。彼らにとって、はるかに差し迫った「リスク」は、「トランスヒューマンAGI」の創出を通じて約束された優生学的理想が決して実現しない可能性から生じるものである（Goertzel, 2010）——これは人間よりも桁違いに「知的」で「道徳的に優れている」（Fitzgerald, et al.、2020）。TESCREAL派のグリーブスとマカスキル(Greaves and MacAskill)（2019）は、「行動を評価する目的上、我々はまず第一に、最初の100年（あるいは1,000年）に含まれるすべての影響を単純に無視し、主にそれより遠い未来の影響に焦点を当てることができる」と記している。短期的な影響は、せいぜいタイブレーク（同点決着）の役割を果たすに過ぎない。」

TESCREALの指導者たちは、AGIは避けられないと主張している――誰かがそれを開発することになるからだ[119]。もし「価値観が異なる」者たちによって開発された場合――彼らによれば中国はこのカテゴリーに該当する――それはTESCREALの指導者たちが属する西側諸国にとって国家安全保障上のリスクとなるか、さらに悪い場合には、人類全体を絶滅に追い込む可能性さえある（Davis, 2023）。したがって、西側諸国は「価値観が一致した」AGIの構築を国家の優先課題とすべきだ。なぜなら、彼らこそが「全人類」に有益な「価値観が一致した」AGIを構築できる存在だからである（Davis, 2023）。冷戦時代のレトリックを利用し、AGI開発の必要性を安全保障上の懸念として位置づけることで、TESCREAL主義者たちは、西側の政治家や国際的な多国間組織を誘導し、自分たちのAGIアジェンダへの投資、正当化、優先化を進め始めている。ワイス＝ブラット(Weiss-Blatt)は、世界中の政策立案者がこの仮説的なAGIによる黙示録を優先課題と位置づけるよう、TESCREAL組織が行ったロビー活動やメディア影響力行使キャンペーンの規模について詳述している[120]。

この正当化は具体的な政策への影響をもたらしており、TESCREAL主義者のユートピア的理想を推進したくないと考えている議員でさえ、彼らから多大な影響を受けている。Politicoによる調査では、この影響力が、存在しない超知能機械による架空の人類絶滅事象の防止へと、米国および英国のAI政策をどのように導いているかが詳述されている（Bordelon, 2023; Clarke, 2023）。一方、OpenAIのような企業は、自社の製品が「規制当局が理解・規制するにはあまりにも強力すぎる」と位置づけることで監視の目を逃れつつ、前述の通り、労働力を搾取し、同意や補償なしに人々のデータから利益を得ている。2023年5月、サム・アルトマンは米国上院で証言し、AIの規制を訴えた。そして、その1週間も経たないうちにブログ記事で、「超知能」は「人類が過去に直面してきた他のどの技術よりも強力になる」ため、国際原子力機関に匹敵する規制機関が必要だと警告した [121]。その後まもなく、彼はメディアから、自らの生み出した強力な存在について警告を発する「現代のオッペンハイマー」と評された（Weil, 2023）。しかし、規制が必要な、実在しない超知能機械の危険性について一般の人々に警告する一方で、OpenAIは同時にEUからの撤退をほのめかし、当時のEU AI法草案が同社に対して「過剰な規制」をもたらすだろうと主張していた（Reuters, 2023a）。

このようにして、TESCREAListたちは、AGIの構築や遠い未来に訪れると彼らが想定する「黙示録」を阻止することにリソースを振り向ける一方で、AGI構築の試みによって実際に引き起こされている害について、一般の人々が精査することを思いとどまらせてきた。別の例として、ヤーン・タリン(Jaan Tallinn)と共にフューチャー・オブ・ライフ・インスティテュート(Future of Life Institute)を共同設立したマックス・テグマーク(Max Tegmark)は、2017年の効果的利他主義（EA）カンファレンス（EA Global）で講演を行い、「技術を向上させなければ、私たちは破滅する……しかし技術があれば、生命は数十億年にわたって繁栄し続けることができる」と主張した [122]。しかし2023年、フューチャー・オブ・ライフ・インスティテュートは、テグマークやマスク、アルトマンを含むAGI開発競争の主要関係者らが署名した請願書を広く公表した。その内容は、「最終的に我々を数で上回り、知力で凌駕し、時代遅れにし、置き換える可能性のある非人間的な知性」を阻止するため、「大規模なAI実験を一時停止する」というものだった[123]。『Democracy Now!』に出演した際、タウナナ・ペティ(Tawnana Petty)のような研究者や活動家が警告する生体認証による監視といった現代の危険性について問われると、テグマークは次のように述べた。「絶滅は、はるか遠い未来の話ではない……そして、いったん人類がすべて絶滅してしまえば、他のあらゆる問題はもはや重要でさえなくなる」（Bengio, et al.、2023年）。同様に、この請願書に署名したジェフリー・ヒントン(Geoffery Hinton)は、『Rolling Stone』誌から、大規模言語モデルの危険性に関する論文を執筆した後にGoogleから解雇されたティムニット・ゲブルが提起した問題について問われた際、次のように答えた。「デジタル知能が人間をはるかに凌駕し、最上位の知能として私たちに取って代わる可能性は、偏見や差別よりも人類にとって深刻な脅威だと考えている」（O’Neil, 2023）。

こうした仮説的な終末シナリオについて警鐘を鳴らす一方で、TESCREAListたちは、OpenAI、DeepMind、Anthropic、そしてマスクのxAIといった企業が指摘するように、「安全」かつ「有益」な方法で開発を行うという理由で、まさに人類を絶滅に追いやる可能性があると警告しているAGIの構築を目指す組織を同時に設立している。「AI開発の一時停止」を求める書簡に署名してから3か月後、イーロン・マスクは、「最大限に好奇心旺盛な」AGIの開発を目指す新たなAI組織を発表した（ロイター、2023b）。彼には、アドバイザーとして、AI Safety Centerの創設者であるダン・ヘンドリックス(Dan Hendrycks)が加わった。同センターはTESCREAL主義の機関であり、「一時停止書簡」と同様の22語からなる声明を公表し、AIの存亡的リスクについて警告していた[124]。このように、TESCREAListたちは「安全性」という言葉を駆使して、まずAGI構築という目標に資源を投入させるが、それが結果として周縁化された集団に害をもたらす。そして再び「安全性」という言葉を駆使して、そうした害に対する調査を阻止し、架空のAGIによる黙示録の防止へと資源を振り向けるのである。

7. 範囲が明確で、定義の明確なシステムの構築

AGIの構築に取り組む人々は、その仕事を科学的・工学的取り組みだと説明しているが、私たちは、AGIの構築を試みることは、科学的原則にも工学的原則にも従っていないと主張する。科学的方法では、多くの場合、具体的な仮説を立て、広範な実験によってそれらを検証する（Hepburn and Andersen, 2021）。工学では、私たちが構築するツールの期待される挙動、許容範囲、および安全プロトコルに関する仕様を提示することが求められる（Khlaaf, 2023; Kossiakoff, et al., 2020）。エンジニアはしばしば、システムの理想化されたモデルだけでなく、非理想的な要素やそれらがシステムの機能性に及ぼす影響についてもモデル化する（Khlaaf, 2023; Kossiakoff, et al., 2020; Tripathy and Naik, 2011）。その後、ストレステストを実施し、標準的な動作条件と、それとは異なる状況下で、構築したシステムがどのように振る舞うかを把握する（Kossiakoff, et al., 2020）。

例えば、私たちの一人は、ノートパソコンなどのデバイス向けオーディオ回路を設計するハードウェアエンジニアとして働いていた。業務の一環として実施したテストには、落下試験――衝撃を受けた際に機能がどのように低下するかを把握するためにデバイスを繰り返し落下させるもの[125]――や、デバイスを極寒または極熱の環境に置くこと（国際電気技術委員会(International Electrotechnical Commission), 2020）、頻繁に再起動させる[126]、あるいは通常は動作を想定されていない条件下でのシステムの挙動を把握するための各種試験の実施などがあった。これらのストレステストは、デバイスが本来動作すべき条件下で行われる広範な試験や文書化に加えて実施されたものである。エンジニアたちは、電気・電子部品に鉛などの有害物質が含まれていないことを義務付ける欧州連合の「有害物質使用制限指令（RoHS）」など、様々な法令への準拠を確保しなければならなかった（欧州連合、2011年）。

「あらゆる環境下で学習し行動するための汎用アルゴリズム」[127]と謳われるシステムの標準的な動作条件とは、一体どのようなものだろうか。そのようなシステムの機能を検証するために設計された実験は、どのようにして構成妥当性――すなわち、実験が現実世界におけるシステムの期待される性能を忠実に描写する能力（O’Leary-Kelly and Vokurka, 1998）――を確保できるのだろうか。私たちは、AGIのようなシステムについては、これらの問いに答えることはできないと主張する。AGIは明確に定義されていないにもかかわらず、無限の条件下で無限のタスクを遂行できると謳われているからだ。したがって、ゴーツェル(Goertzel)のようないわゆるTESCREAL派は、AGIへの関心が再び高まる以前、AGIを「狭い領域の愚かな専門家の集まり」と表現される「狭義のAI」への注目を嘆いていたが [128]、私たちは、いかなるAIシステムも安全にするための第一歩は、いかなる状況下でもあらゆるタスクを遂行できるとされる機械ではなく、「狭義のAI」として説明されるような、範囲が明確で定義のしっかりしたシステムを構築しようと試みることにあると主張する。

AGI競争は、慎重に確立された科学的・工学的原則に基づく、技術的進歩への必然的かつ不可避な歩みではない（van Rooij, et al., 2023）。それは、「人類を守る」ことを目指すTESCREAL一派の支持者たちによって生み出された運動であり（Ord, 2020）。アルトマンの言葉を借りれば、それは「空に浮かぶ魔法のような知能」（Germain, 2023）を構築することであり、選別育種を通じて「人類の遺伝子プール」を「完璧」にできると考えた第一波の優生学者たちの先人たちと全く同じである（Bloomfield, 1949を参照）。数十億ドルの資金に支えられた、AI研究や政策実務に影響を与えるための組織的なキャンペーンを通じて、TESCREAL支持者たちは、この分野を、本質的に安全ではなく、周縁化された集団への実証済みの被害をもたらしている、範囲が定まっていないシステムの構築を優先する方向へと導いてきた。ニタシャ・ティク(Nitasha Tiku)（2023）が報告しているように、オープン・フィランソロピーだけでも、AGIに関連する取り組みに5億ドル以上を費やしている。彼らは以下の手段を通じてこれを実行してきた。

「暴走AI」と戦う人材のパイプラインを構築し、シンクタンク、YouTubeチャンネル、賞金付きコンテスト、助成金、研究資金、奨学金といった枠組みを整備したほか、学生リーダーに対して年間最大8万ドルの報酬に加え、数万ドルの経費を支給できる新たなフェローシップ制度も設けた。

この投資により、AGI開発競争の正当化に成功した。その結果、TESCREALのユートピア的理想に賛同していないかもしれない多くの学生や実務家さえも、AGIの課題推進に取り組んでいる。それは、AGIがAI分野における自然な進展として提示されているからだ。第一波の優生学者や人種科学者が自らの研究に対して学術的な正当性を求め、それを獲得したのと同様に（Saini, 2019）、TESCREAL支持者たちは、批判的でない聴衆に対して自分たちの考えをより受け入れやすくするための科学的権威の仮面を作り上げ、それによってAI分野の研究や政策の方向性に影響を与えることに成功した。第一波の優生学は、効果がなく、破滅的な結果をもたらすことが証明された。しかし、ジャン・ガヨン(Jean Gayon)やダニエル・ヤコビ(Daniel Jacobi)が「優生学の永遠の回帰」という用語で示唆しているように、優生学的理想は異なる形で形を替えては現れ続けている[129]。AGI競争もまた、その試みの一つに過ぎず、潜在的に有用な研究の方向性から資源と関心を逸らし、自らを人類の「先駆者」と称する者たちが作り上げたテクノ・ユートピア的理想を達成しようとする過程で害をもたらしている。

8. 結論

本論文では、AGIの構築を目指す者たちの動機は何かという問いを投げかけた。AGIとは、その構築を標榜する者たちの間ですら定義が統一されていないものの、「神」に匹敵する全知の機械であるかのように見なされているシステムである。その答えは、現在のAGI推進の動きが、私たちが「優生学の第二の波」と称する一連のイデオロギーによって牽引されているということだ。AGI運動の指導者たちは、近代優生学運動から直接派生したこの一連のイデオロギーを支持しており、したがって同様の理想を受け継いでいる。私たちは、AGI運動全体におけるこの一連のイデオロギーの影響を辿り、その有害な理想が、不平等を永続させ、権力を一極集中させ、第一波の近代優生学運動が標的としたのと同じ集団に害を及ぼすシステムを生み出してきた経緯を示した。私たちは、神に類するものを構築しようとする試みは本質的に危険な行為であると主張し、研究者や実務家に対し、この目標を放棄し、代わりに人々の安全性に優先順位を置いた、明確に定義され、範囲が限定されたシステムの構築に取り組むよう強く求める。

著者について

ティムニット・ゲブルは、分散型人工知能研究所（DAIR）の創設者兼所長である。彼女の研究関心には、周縁化された集団に対するAIシステムの害への対処や、コミュニティに根ざしたAIシステムの構築が含まれる。
Eメール：timnit [at] dair-institute [dot] org

エミール・P・トーレスは、ケース・ウェスタン・リザーブ大学イナモリ国際倫理・卓越センターの博士研究員である。その研究は、AIの倫理および西洋思想における人類絶滅に関する思考の歴史に焦点を当てている。
Eメール：philosophytorres [at] gmail [dot] com

謝辞

本論文の草稿を査読し、内容をより充実させるための詳細なフィードバックを提供してくださった、アレクサンダー・トーマス、ベス・シングラー、ダグラス・ラッシュコフ、エミリー・M・ベンダー、ジェイコブ・メトクラフ、ジェナ・バレル、キャサリン・ヘラー、キーラ・ヘイヴンズ、レメルト・エレン、サミー・ベンジオ、サイード・ムスタファ・アリ、ニコラス・ロデロ、ならびに『First Monday』およびFAccTの匿名査読者の皆様に感謝する。

Notes

アンカー 1. “OpenAI charter,” at https://openai.com/charter, accessed 30 January 2024.

アンカー 2. Pennachin and Goertzel, 2007a, p. 1.

アンカー 3. “What is AGI?” at https://medium.com/intuitionmachine/what-is- agi-99cdb671c88e, accessed 30 January 2024.

アンカー 4. Russell and Norvig, 2010, p. 27.

アンカー 5. Markoff, 2005; Russell and Norvig, 2010, pp. 16–28.

アンカー 6. Russell and Norvig, 2010, pp. 16–28; Pennachin and Goertzel, 2007a.

アンカー 7. Note that we have capitalized some of the TESCREAL ideologies but not others. We are following what members of these ideologies themselves capitalize: Extropians, Rationalists, and Effective Altruists prefer to capitalize these terms, whereas transhumanists, singularitarians, cosmists, and longtermists do not.

アンカー 8. Goertzel, 2010, p. 231.

アンカー 9. Sam Altman blog, “Planning for AGI and beyond ” (23 February), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 30 January 2024.

アンカー 10. Preface, in Pennachin and Goertzel (2007b).

アンカー 11. Note that our discussion of eugenics is incomplete, due largely to space limitations. In what follows, we focus on providing a brief background to situate the emergence of the TESCREAL bundle of ideologies.

アンカー 12. Gaca, 2003, p. 52.

アンカー 13. Galton, 1998, p. 265.

アンカー 14. Fogarty and Osborne, 2010, p. 334.

アンカー 15. Galton in Zuberi, 2001, p. 43.

アンカー 16. For an insightful discussion of the history of eugenics in California, see Harris (2023).

アンカー 17. Bashford and Levine, 2010, p. 13.

アンカー 18. See Harris (2023) for further discussion.

アンカー 19. History page of the Adelphi Genetic Forum, retrieved on January 31, 2024 from https://adelphigenetics.org/history/. They also write that “despite our organisation’s former name, the Adelphi Genetics Forum rejects outright the theoretical basis and practice of coercive eugenics, which it regards as having no place in modern life.”

アンカー 20. Quine, 2010, p. 392.

アンカー 21. Alternatively, such technologies, according to these eugenicists, could potentially enable individuals to radically modify themselves within a single generation (see Bostrom, 2013).

アンカー 22. See section 5 of Bostrom (2005c).

アンカー 23. “Transhumanism. What it is. What it is not,” at https://www.youtube.com/watch?v=sdjMoykqxys&t=425s, accessed 31 January 2024.

アンカー 24. See “Eliezer Yudkowsky,” at https://extropians.weidai.com/extropians.96/author.html#441, accessed 31 January 2024.

アンカー 25. “Welcome to LessWrong!” (14 June 2019), at https://www.lesswrong.com/posts/bJ2haLkcGeLtTWaD5/welcome-to-lesswrong, accessed 31 January 2024.

アンカー 26. “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.

アンカー 27. “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024. See also ‘Peter Thiel’s keynote — Effective Altruism Summit 2013,” at https://www.youtube.com/watch?v=h8KkXcBwHec&t=818s&ab_channel=nnevvinn, accessed 2 February 2024; and Bohan (2022), pp. 44–53.

アンカー 28. “Rationalist Movement,” at https://www.lesswrong.com/tag/rationalist-movement, accessed 31 January 2024.

アンカー 29. “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.

アンカー 30. “Donation Advice,” EA Funds, at https://funds.effectivealtruism.org/donation-advice, accessed 17 January 2024.

アンカー 31. “Research staff,” Future of Humanity Institute, at https://web.archive.org/web/20070209123709/http://www.fhi.ox.ac.uk:80/staff.html, accessed 15 January 2024.

アンカー 32. “Dustin Moskovitz,” Effective Altruism Forum, at https://forum.effectivealtruism.org/topics/dustin-moskovitz, accessed 31 January 2024.

アンカー 33. “Sam Bankman-Fried,” Effective Altruism Forum, at https://forum.effectivealtruism.org/topics/sam-bankman-fried#:~:text=Before%20the%20FTX%20collapse%2C%20Bankman,his%20wealth%20to%20lo ngtermist%20causes, accessed 31 January 2024.

アンカー 34. Huxley, 1957, p. 17.

アンカー 35. “The extropian principles,” at https://www.mrob.com/pub/religion/extro_prin.html, accessed 31 January 2024.

アンカー 36. Bostrom, 2005a, p. 12.

アンカー 37. “Re: SOCIETY: The Quiet Revolution.” at https://extropians.weidai.com/extropians.96/4858.html, accessed 31 January 2024.

アンカー 38. See “Neologisms of Extropy,” at https://web.archive.org/web/20060220131448/https://www.extropy.org/neologo.htm, accessed 1 February 2024; and “The Singularitarian Principles,” at https://web.archive.org/web/20120403111339/http://yudkowsky.net/obsolete/principles.html, accessed 31 January 2024.

アンカー 39. “LessWrong comment,” at https://www.lesswrong.com/posts/aFtWRL3QihoF5uQd5/guardians-of-the-gene- pool?commentId=BzFBAQhRRyMCk7Wny, accessed 31 January 2024; and “Neologisms of Extropy,” at https://web.archive.org/web/20060220131448/https://www.extropy.org/neologo.htm, accessed 1 February 2024.

アンカー 40. “About SingularityNET,” at https://singularitynet.io/aboutus/, accessed 14 January 2024.

アンカー 41. Goertzel, 2010, p. 10.

アンカー 42. Historically, “cosmism” can be traced back to the latter nineteenth century work of Nikolai Fyodorov, which was later developed by Russian scientists like Konstantin Tsiolkovsky and Vladimir Vernadsky (Young, 2012). Russian cosmism can be seen as a precursor to modern transhumanism, although the particular version that we are interested in specifically arises from the work of Goertzel, which is distinct from the “cosmism” of earlier Russian theorists.

アンカー 43. “Welcome to LessWrong!” at https://www.lesswrong.com/posts/bJ2haLkcGeLtTWaD5/welcome-to-lesswrong, accessed 31 January 2024.

アンカー 44. “Singularity,” at https://www.lesswrong.com/tag/singularity, accessed 31 January 2024; See also “Transhumanism as Simplified Humanism,” at https://www.lesswrong.com/posts/Aud7CL7uhz55KL8jG/transhumanism-as-simplified-humanism, accessed 31 January 2024.

アンカー 45. Centre of Effective Altruism website, at https://www.centreforeffectivealtruism.org/, accessed 30 January 2024.

アンカー 46. Beckstead, 2013, p. ii.

アンカー 47. It is unclear to us what methodology Bostrom used to arrive at such astronomical numbers. Nonetheless, he writes that what matters for longtermism “is not the exact numbers but the fact that they are huge” (Bostrom, 2003; for criticism of such calculations, see Torres, 2024).

アンカー 48. 例えば、2019年にEAコミュニティを対象に行われた調査によると、「EAの圧倒的多数（80.7％）が、結果主義、とりわけ功利主義的な結果主義に共感している」ことが明らかになった（「EA Survey 2019: コミュニティの人口統計と特徴」、https://rethinkpriorities.org/publications/eas2019-community-demographics-characteristics、2024年1月31日閲覧）。ボストロム（2003）の影響力のある論文の中心的な主張は、全体主義的功利主義に由来しており、この論文は長期主義の創設的文書の一つと見なされている（例として、Ord, 2020の第2章の脚注27、Greaves and MacAskill, 2019, p. 3を参照）。最後に、効果的利他主義グローバル2016会議での基調講演において、オードは「科学革命、啓蒙主義、功利主義といった中核的な思想が、効果的利他主義の形成に大きく寄与してきた」と明示的に主張した (at https://www.youtube.com/watch?v=VH2LhSod1M4&ab_channel=CentreforEffectiveAltruism, accessed 31 January 2024).

アンカー 49. なお、EAのルーツは、功利主義者のピーター・シンガー(Peter Singer)による「グローバル・エシックス」にまで遡る。シンガーは障害のある乳児の殺害も提唱しており、「重度の障害を持つ一部の乳児は殺されるべきだと私たちは考える」と記している（Ekland-Olson, 2011, p. 204より引用）。しかし、EA運動は2009年頃にトビー・オード(Toby Ord)によって共同設立された。オードは3年前にボストロムと共同で論文を執筆しており、その論文では本質的に、人間の能力向上に関するトランスヒューマニストの立場を擁護していた（Bostrom and Ord, 2006）。さらに、オードは早くも2007年にはボストロムの「人類の未来研究所（FHI）」の研究員を務めており、ここ数年、EA運動全体が長期主義的な視点へと移行しつつある（Matthews, 2022）。その一部は多かれ少なかれ公然とトランスヒューマニズム的である（例えば、オード（2020）が『The Precipice』の「Quality」と題された節で論じている「我々の可能性」に関する議論を参照）

アンカー 50. Sam Altman’s Twitter post (14 August 2022), at https://twitter.com/sama/status/1559011065899282432?lang=en, accessed 31 January 2024.

アンカー 51. Elon Musk’s Twitter post (2 August 2022), at https://twitter.com/elonmusk/status/1554335028313718784, accessed 30 January 2024.

アンカー 52. Elon Musk’s Twitter post (2 May 2023), at https://twitter.com/elonmusk/status/1653421967570096128, 2024年1月30日にアクセス。マスクの世界観に関する多くの記述は、マスクがTESCREAListであるという私たちの主張と一致している。例えば、アシュリー・ヴァンス(Ashlee Vance)は、マスクを「シリコンバレーのテクノ・ユートピア主義者クラブの正会員」と記述しており、同クラブは「近い将来、我々は自分の脳をコンピュータにダウンロードし、リラックスして、アルゴリズムにすべてを任せることができるようになる」と予見している。……さらに不穏なのは、人間には欠陥があり、人間性とはいずれ片付けるべき厄介な重荷であるという、その根底にあるメッセージである。ヴァンスはさらに、マスクの「大げさな話は、しばしばテクノ・ユートピア主義の教本からそのまま抜き出したように聞こえる」と付け加えている（Vance, 2016）。また、我々の「TESCREAL主義」という概念は、ダグラス・ラッシュコフ(Douglas Rushkoff)（2022）が「ザ・マインドセット」と呼ぶものと非常に近い点にも留意すべきだ。

アンカー 53. Quoted in Parrinder, 1997, p. 2. See also Francis Galton, 2001. “The Eugenic College of Kantsaywhere,” Critical edition, transcribed and edited by Lyman Tower Sargent, Utopian Studies, volume 12, number 2, pp. 191–209.

アンカー 54. Kurzweil, 1999, p. 141.

アンカー 55. See “Why AI will save the world” (6 June 2023), at https://a16z.com/ai-will-save-the-world/, accessed 31 January 2024; “Planning for AGI and beyond” (24 February 2023), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 31 January 2024; and “Let’s think about slowing down AI” (22 December 2022), at https://worldspiritsockpuppet.substack.com/p/lets-think-about-slowing-down-ai, accessed 31 January 2024.

アンカー 56. “Apology for an Old Email,” at https://nickbostrom.com/oldemail.pdf, accessed 31 January 2024.

アンカー 57. “Re: Profiting on tragedy? (was Humour),” at https://diyhpl.us/~bryan/irc/extropians/extracted-extropians-archive/archive/9612/4881.html, accessed 31 January 2024.

アンカー 58. “Adamantly preventing tradgedy? (was Humour),” at https://extropians.weidai.com/extropians.96/4759.html, accessed 31 January 2024.

アンカー 59. Eliezer Yudkowsky Twitter post, archived on 13 February 2023, at https://web.archive.org/web/20230213224423/https://twitter.com/esyudkowsky/status/1131208777032560640, accessed 1 February 2024.

アンカー 60. Bio in Marc Andreessen’s Twitter biography, archived on 23 May 2023, at https://web.archive.org/web/20230523005947/https://twitter.com/pmarca, accessed 31 January 2024.

アンカー 61. “How dependent is the effective altruism movement on Dustin Moskovitz and Cari Tuna?” (21 September 2020), at https://forum.effectivealtruism.org/posts/4BJSXH9ho4eYNT73P/how-dependent-is-the- effective-altruism-movement-on-dustin, accessed 31 January 2024.

アンカー 62. Marc Andreessen, “The techno-optimist manifesto” (16 October 2023), at https://a16z.com/the-techno-optimist-manifesto/, accessed 31 January 2024.

アンカー 63. See Marc Andreessen’s Twitter handle, at https://twitter.com/pmarca, accessed 31 January 2024.

アンカー 64. See Garry Tan’s Twitter biography, at https://twitter.com/garrytan, accessed 30 January 2024.

アンカー 65. McCarthy, et al., 1955; Russell and Norvig, 2010, pp. 16–28.

アンカー 66. Markoff, 2005; Russell and Norvig, 2010, pp. 16–28.

アンカー 67. Preface, in Pennachin and Goertzel (2007b).

アンカー 68. Voss, 2007, p. 153.

アンカー 69. Blog post by Ben Goertzel: “Who coined the term ‘AGI’?” (28 August 2011), at https://goertzel.org/who-coined-the-term-agi/, accessed 31 January 2024.

アンカー 70. Preface, in Pennachin and Goertzel (2007b).

アンカー 71. “AGI Researchers Stop Quoting White Supremacists Challenge (Impossible),” Medium (22 September 2023), at https://medium.com/@collegehill/agi-researchers-stop-quoting-white-supremacists-challenge-impossible-d1002469d572, accessed 31 January 2024.

アンカー 72. Gottfredson, 1997, p. 91.

アンカー 73. Southern Poverty Law Center on Linda Gottfredson, at https://www.splcenter.org/fighting-hate/extremist-files/individual/linda-gottfredson, accessed 31 January 2024.

アンカー 74. Keira Haven’s Twitter post (22 September 2023), at https://twitter.com/Keira_Havens/status/1705404087276372121, accessed 30 January 2024.

アンカー 75. Archived Web page of Artificial General Intelligence Research Institute, at https://web.archive.org/web/20080512012745/http://www.agiri.org/wiki/Main_Page, accessed 31 January 2024.

アンカー 76. This was written by Bruce Klein on OpenCog (https://wiki.opencog.org/wikihome/index.php?title=Artificial_General_Intelligence&oldid=1297, accessed 31 January 2024). Klein lists a novamente.net e-mail address (https://wiki.opencog.org/w/User:Bruceklein, accessed 31 January 2024). Novamente is an AI company founded by Goertzel (https://www.crunchbase.com/organization/novamente-llc, accessed 31 January 2024).

アンカー 77. “Top Contributors,” Machine Intelligence Research Institute, at https://intelligence.org/topcontributors/, accessed 30 January 2024.

アンカー 78. “About MIRI,” at https://intelligence.org/about/, accessed 30 January 2024. Note that the Singularity Institute’s original mission was explicitly accelerationist: “to accelerate toward artificial intelligence” (Torres, 2023c).

アンカー 79. DeepMind AGI, DeepMind’s website before merging with Google Brain in 2023 (see announcement from Google CEO (20 April 2023) at https://blog.google/technology/ai/april-ai-update/, accessed 31 January 2024), from http://deepmindagi.com/.

アンカー 80. Video of Future of Life Institute panel on “Superintelligence: Science or fiction?” at https://www.youtube.com/watch?v=h0962biiZa4, accessed 31 January 2024.

アンカー 81. “Measuring machine intelligence — Shane Legg, Singularity Summit 2010,” at https://www.youtube.com/watch?v=0ghzG14dT-w, accessed 31 January 2024.

アンカー 82. “Singularity Summit: An Annual Conference on Science, Technology, and the Future,” at https://intelligence.org/singularitysummit/, accessed 31 January 2024.

アンカー 83. “Why we launched DeepMind Ethics & Society” (3 October 2017), at https://deepmind.google/discover/blog/why-we-launched-deepmind-ethics-society/, accessed 31 January 2024.

アンカー 84. “OpenAI Charter” (9 April 2018), at https://openai.com/charter, accessed 31 January 2024.

アンカー 85. Open Philanthropy, “OpenAI — General Support,” at https://www.openphilanthropy.org/grants/openai-general-support/, accessed 31 January 2024.

アンカー 86. “OpenAI LP,” at https://openai.com/blog/openai-lp, accessed 31 January 2024.

アンカー 87. Microsoft announcement: “OpenAI forms exclusive computing partnership with Microsoft to build new Azure AI supercomputing technologies” (22 July 2019), at https://news.microsoft.com/2019/07/22/openai-forms-exclusive-computing-partnership- with-microsoft-to-build-new-azure-ai-supercomputing-technologies/, accessed 31 January 2024.

アンカー 88. Antrhopic’s website, at https://www.anthropic.com/company, accessed 31 January 2024.

アンカー 89. “The highest-impact career paths our research has identified so far,” at https://80000hours.org/career-reviews/, accessed 31 January 2024.

アンカー 90. “About xAI,” at https://www.x.ai/about/, accessed 31 January 2024.

アンカー 91. Open Philanthropy, “Center for AI Safety — General Support (2022),” at https://www.openphilanthropy.org/grants/center-for-ai-safety-general-support/, accessed 31 January 2024.

アンカー 92. “Introduction to Pragmatic AI Safety” (9 May 2022), at https://forum.effectivealtruism.org/posts/MskKEsj8nWREoMjQK/introduction-to-pragmatic-ai-safety-pragmatic-ai-safety-1, accessed 31 January 2024.

アンカー 93. “Expanding access to safer AI with Amazon” (25 September 2023), at https://www.anthropic.com/news/anthropic-amazon, accessed 31 January 2024.

アンカー 94. Preface, in Pennachin and Goertzel (2007b).

アンカー 95. “Real-world challenges for AGI” (2 November 2021), at https://deepmind.google/discover/blog/real-world-challenges-for-agi/, accessed 31 January 2024.

アンカー 96. Goertzel, 2010, p. 230.

アンカー 97. Goertzel, 2010, p.11.

アンカー 98. Sam Altman’s Twitter post, at https://twitter.com/sama/status/1520798948562141184, accessed 31 January 2024.

アンカー 99. “Moore’s Law for Everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024. Incidentally, the idea that the Singularity is “unstoppable” or “inevitable” is strongly emphasized in Kurzweil’s work, as when he writes that “the Singularity denotes an event that will take place in the material world, the inevitable next step in the evolutionary process that started with biological evolution and has extended through human-directed technological evolution” (Kurzweil, 2005).

アンカー 100. “Governance of superintelligence” (22 May 2023), at https://openai.com/blog/governance-of-superintelligence, accessed 31 January 2024.

アンカー 101. “Introducing Superalignment” (5 July 2023), at https://openai.com/blog/introducing-superalignment, accessed 31 January 2024.

アンカー 102. See section 1 of Torres (2019) for a list of such estimates; see also the TESCREAList Paul Christiano’s estimate that the “probability that humanity has somehow irreversibly messed up our future within 10 years of building powerful AI [is] 46%,” at https://www.lesswrong.com/posts/xWMqsvHapP3nwdSW8/my-views-on-doom, accessed 31 January 2024.

アンカー 103. OpenAI Gym Beta, released in 2016, described as “a toolkit for developing and comparing reinforcement learning (RL) algorithms,” at https://openai.com/research/openai-gym-beta, accessed 31 January 2024.

アンカー 104. “Transforming work and creativity with AI,” at https://openai.com/product, accessed 31 January 2024.

アンカー 105. “Twitter post announcing Galactica using the language we described,” at https://twitter.com/paperswithcode/status/1592546933679476736, accessed 31 January 2024.

アンカー 106. Website of Lesan AI, a machine translation company focused on Ethiopian languages, at https://lesan.ai/about.html, accessed 31 January 2024.

アンカー 107. Nando de Freitas’ Twitter post, at https://twitter.com/NandoDF/status/1525397036325019649, accessed 31 January 2024.

アンカー 108. “Model size and performance” section, part of Scale’s “Guide to large language models,” at https://scale.com/guides/large-language-models#model-size-and-performance, accessed 31 January 2024.

アンカー 109. “Real-world challenges for AGI” (2 November 2021), at https://deepmind.google/discover/blog/real-world-challenges-for-agi/, accessed 31 January 2024.

アンカー 110. “Planning for AGI and beyond” (24 February 2023), at https://openai.com/blog/planning-for-agi-and-beyond, accessed 31 January 2024. “Core views on AI safety: When, why, what, and how” (8 March 2023), at https://www.anthropic.com/news/core-views-on-ai-safety, accessed 31 January 2024.

アンカー 111. Sam Altman, “Moore’s law for everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024.

アンカー 112. Twitter post by Ilya Sutskever, OpenAI’s former chief scientist,at https://twitter.com/ilyasut/status/1491554478243258368, accessed 31 January 2024.

アンカー 113. Sam Altman, “Moore’s law for everything” (16 March 2021), at https://moores.samaltman.com/, accessed 31 January 2024.

アンカー 114. Emily M. Bender, “‘Ensuring safe, secure, and trustworthy AI’: What those seven companies avoided committing to,” Medium (29 July 2023), at https://medium.com/@emilymenonbender/ensuring-safe-secure-and-trustworthy-ai-what-those- seven-companies-avoided-committing-to-8c297f9d71a, accessed 31 January 2024.

アンカー 115. Twitter post by Ilya Sutskever, OpenAI’s former chief scientist, at https://twitter.com/ilyasut/status/1707027536150929689, accessed 31 January 2024.

アンカー 116. Karla Ortiz, “Why AI Models are not inspired like humans” (7 December), at https://www.kortizblog.com/blog/why-ai-models-are-not-inspired-like-humans, accessed 31 January 2024.

アンカー 117. Ibid.

アンカー 118. Yudkowsky’s Twitter profile, archived 14 March 2021, at https://web.archive.org/web/20210314211620/https://twitter.com/ESYudkowsky?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Eauthor, accessed 31 January 2024.

アンカー 119. Kurzweil, 2005; Goertzel, 2010, p. 227; Bostrom, 2009a; Shin, 2023. Benjamin Hilton, “Preventing an AI-related catastrophe,” at https://80000hours.org/problem-profiles/artificial-intelligence/, accessed 31 January 2024. See also Scott Alexander, “Why not slow AI progress?” (8 August 2022), at https://www.astralcodexten.com/p/why-not-slow-ai-progress, accessed 31 January 2024.

アンカー 120. “The AI Panic Campaign — part 1” (15 October 2023), at https://www.aipanic.news/p/the-ai-panic-campaign-part-1, accessed 31 January 2024; and “The AI Panic Campaign — part 2” (15 October 2023), at https://www.aipanic.news/p/the-ai-panic-campaign-part-2, accessed 31 January 2024.

アンカー 121. “Written Testimony of Sam Altman Chief Executive Officer OpenAI Before the U.S. Senate Committee on the Judiciary Subcommittee on Privacy, Technology, & the Law,” at https://www.judiciary.senate.gov/imo/media/doc/2023-05-16%20-%20Bio%20&%20Testimony%20-%20Altman.pdf, accessed 31 January 2024. “Governance of superintelligence,” OpenAI (22 May 2023), at https://openai.com/blog/governance-of-superintelligence, accessed 31 January 2024.

アンカー 122. Tegmark, 2017, 2:30 timestamp.

アンカー 123. “Pause Giant AI Experiments: An Open Letter” (22 March 2023), at https://futureoflife.org/open-letter/pause-giant-ai-experiments/, accessed 31 January 2024.

アンカー 124. “Statement on AI Risk,” at https://www.safe.ai/statement-on-ai-risk, accessed 31 January 2024.

アンカー 125. “Board Level Drop Test Method of Components for Handheld Electronic Products” (JESD22-B111A), at https://www.jedec.org/standards-documents/docs/jesd-22-b111, accessed 1 February 2024.

アンカー 126. “Reboot Tests (Device Fundamentals),” at https://learn.microsoft.com/en-us/windows-hardware/drivers/devtest/reboot-tests–device-fundamentals-, accessed 1 February 2024.

アンカー 127. Russell and Norvig, 2010, p. 27.

アンカー 128. Minsky in Preface, Pennachin and Goertzel (2007b).

アンカー 129. Jean Gayon and Daniel Jacobi in Turda, 2010, p. 64.

References

Nicholas Agar, 1998. “Liberal eugenics,” Public Affairs Quarterly, volume 12, number 2, pp. 137–155.

Blaise Agüera y Arcas, 2022. “Do large language models understand us?” Daedalus, volume 151, number 2, pp. 183–197.
doi: https://doi.org/10.1162/daed_a_01909, accessed 10 March 2024.

Blaise Agüera y Arcas and Peter Norvig, 2023. “Artificial general intelligence is already here,” Noema (10 October), at https://www.noemamag.com/artificial-general-intelligence-is-already-here/, accessed 31 January 2024.

Shazeda Ahmed, Klaudia Jazwinska, Archana Ahlawat, Amy Winecoff, and Mona Wang, 2024. “Field-building and the epistemic culture of AI safety,” First Monday, volume 29, number 4.
doi: https://dx.doi.org/10.5210/fm.v29i4.13626, accessed 10 March 2024.

Syed Mustafa Ali, 2019. “‘White crisis’ and/as ‘existential risk,’ the entangled apocalypticism of artificial intelligence,” Zygon, volume 54, number 1, pp. 207–224.
doi: https://doi.org/10.1111/zygo.12498, accessed 10 March 2024.

Alison Bashford and Philippa Levine, 2010. “Introduction: Eugenics and the modern world,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 2–24.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0001, accessed 10 March 2024.

Dina Bass, 2023. “Microsoft invests $10 billion in ChatGPT maker OpenAI,” Bloomberg (23 January), at https://www.bloomberg.com/news/articles/2023-01-23/microsoft-makes-multibillion-dollar-investment-in-openai, accessed 31 January 2024.

Nicholas Beckstead, 2013. “On the overwhelming importance of shaping the far future,” Ph.D. dissertation, Rutgers University, at https://rucore.libraries.rutgers.edu/rutgers-lib/40469/PDF/1/play/, accessed 10 March 2024.

Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell, 2021. “On the dangers of stochastic parrots: Can language models be too big?” FAccT ’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pp. 610–623.
doi: https://doi.org/10.1145/3442188.3445922, accessed 10 March 2024.

Yoshua Bengio, Max Tegmark, and Tawana Petty, 2023. “Artificial intelligence ‘godfathers’ call for regulation as rights groups warn AI encodes oppression,” Democracy Now! (1 June), at https://www.democracynow.org/2023/6/1/ai_bengio_petty_tegmark, accessed 31 January 2024.

Abeba Birhane, Vinay Uday Prabhu, and Emmanuel Kahembwe, 2021. “Multimodal datasets: Misogyny, pornography, and malignant stereotypes,” arXiv:2110.01963 (5 October).
doi: https://doi.org/10.48550/arXiv.2110.01963, accessed 31 January 2024.

Bethany Biron, 2023. “Online mental health company uses ChatGPT to help respond to users in experiment — raising ethical concerns around healthcare and AI technology,” Business Insider (7 January), at https://www.businessinsider.com/company-using-chatgpt-mental-health-support-ethical-issues-2023-1, accessed 31 January 2024.

Edwin Black, 2003. “The horrifying American roots of Nazi eugenics,” History News Network, at https://historynewsnetwork.org/article/1796, accessed 31 January 2024.

Lucy Bland and Lesley Hall, 2010. “Eugenics in Britain: The view from the metropole,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 212–227.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0012, accessed 10 March 2024.

Paul Bloomfield, 1949. “The eugenics of the Utopians: The utopia of the eugenists,” Eugenics Review, volume 40, number 4, pp. 191–198.

Elise Bohan, 2022. Future superhuman: Our transhuman lives in a make-or-break century. Sydney, NSW: NewSouth Publishing.

Brendan Bordelon, 2023. “How a billionaire-backed network of AI advisers took over Washington,” Politico (13 October), at https://www.politico.com/news/2023/10/13/open-philanthropy-funding-ai-policy-00121362, accessed 1 February 2024.

Nick Bostrom, 2014. Superintelligence: Paths, dangers, strategies. Oxford: Oxford University Press.[『スーパーインテリジェンス　超絶ＡＩと人類の命運』倉骨彰／訳、日本経済新聞社]

Nick Bostrom, 2013. “Why I want to be a posthuman when I grow up,” In: Ronald L. Sandler (editor). Ethics and emerging technologies. London: Palgrave Macmillan, pp. 218–234.
doi: https://doi.org/10.1057/9781137349088_15, accessed 10 March 2024.

Nick Bostrom, 2009a. “The future of humanity,” Geopolitics, History, and International Relations, volume 1, number 2, pp. 41–78.

Nick Bostrom, 2009b. “Dinosaurs, dodos, humans?” Review of Contemporary Philosophy, volume 8, 4982, and at https://www.addletonacademicpublishers.com/contents-rcp/112-volume-8-2009/533-dinosaurs-dodos-humans, accessed 10 March 2024.

Nick Bostrom, 2005a. “A history of transhumanist thought,” Journal of Evolution and Technology, volume 14, number 1, at http://jetpress.org/volume14/bostrom.html, accessed 10 March 2024.

Nick Bostrom, 2005b. “Letter from Utopia,” Studies in Ethics, Law, and Technology, volume 2, number 1, pp. 1–7.
doi: https://doi.org/10.2202/1941-6008.1025, accessed 10 March 2024.

Nick Bostrom, 2005c. “Transhumanist values,” Journal of Philosophical Research (supplement), volume 30.
doi: https://doi.org/10.5840/jpr_2005_26, accessed 10 March 2024.

Nick Bostrom, 2003. “Astronomical waste: The opportunity cost of delayed technological development,” Utilitas, volume 15, pp. 308–314.
doi: https://doi.org/10.1017/S0953820800004076, accessed 10 March 2024.

Nick Bostrom, 2002. “Existential risks: Analyzing human extinction scenarios and related hazards,” Journal of Evolution and Technology, volume 9, at http://jetpress.org/volume9/risks.html, accessed 10 March 2024.

Nick Bostrom and Anders Sandberg, 2009. “Cognitive enhancement: Methods, ethics, regulatory challenges,” Science and Engineering Ethics, volume 15, number 3, pp. 311–341.
doi: https://doi.org/10.1007/s11948-009-9142-5, accessed 10 March 2024.

Nick Bostrom and Toby Ord, 2006. “The reversal test: Eliminating status quo bias in applied ethics,” Ethics, volume 116, number 4, pp. 656–679.
doi: https://doi.org/10.1086/505233, accessed 10 March 2024.

Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro, and Yi Zhang, 2023. “Sparks of artificial general intelligence: Early experiments with GPT-4,” arXiv:2303.12712 (22 March).
doi: https://doi.org/10.48550/arXiv.2303.12712, accessed 31 January 2024.

Megan Cerullo, 2023. “AI-powered ‘robot’ lawyer won’t argue in court after jail threats,” CBS (26 January), at https://www.cbsnews.com/news/robot-lawyer-wont-argue-court-jail-threats-do-not-pay/, accessed 31 January 2024.

Laurie Clarke, 2023. “How Silicon Valley doomers are shaping Rishi Sunak’s AI plans,” Politico (14 September), at https://www.politico.eu/article/rishi-sunak-artificial-intelligence-pivot-safety-summit-united-kingdom-silicon-valley-effective-altruism/, accessed 31 January 2024.

Aubrey Clayton, 2020. “How eugenics shaped statistics,” Nautilus (27 October), at https://nautil.us/how-eugenics-shaped-statistics-238014/, accessed 31 January 2024.

Devin Coldewey, 2022. “Anthropic’s quest for better, more explainable AI attracts $580M,” TechCrunch (29 April), at https://techcrunch.com/2022/04/29/anthropics-quest-for-better-more-explainable-ai-attracts-580m/, accessed 31 January 2024.

Devin Coldewey, 2021. “Anthropic is the new AI research outfit from OpenAI’s Dario Amodei, and it has $124M to burn,” TechCrunch (28 May), at https://techcrunch.com/2021/05/28/anthropic-is-the-new-ai-research-outfit-from-openais-dario-amodei-and-it-has-124m-to-burn/, accessed 31 January 2024.

Samantha Cole, 2023. “Largest dataset powering AI images removed after discovery of child sexual abuse material,” 404 Media (20 December), at https://www.404media.co/laion-datasets-removed-stanford-csam-child-abuse/, accessed 31 January 2024.

Alice Crary, 2023. “The toxic ideology of longtermism,” Radical Philosophy, volume 214, pp. 49–57, and at https://www.radicalphilosophy.com/commentary/the-toxic-ideology-of-longtermism, accessed 31 January 2024.

Carla Cremer, 2023. “How effective altruists ignored risk,” Vox (30 January), at https://www.vox.com/future-perfect/23569519/effective-altrusim-sam-bankman-fried-will-macaskill-ea-risk-decentralization-philanthropy, accessed 31 January 2024.

Anthony Cuthbertson, 2022. “‘The game is over’: Google’s DeepMind says it is on verge of achieving human-level AI,” Yahoo Finance (17 May), at https://finance.yahoo.com/news/game-over-google-deepmind-says-133304961.html, accessed 31 January 2024.

Olivier Dard and Alexandre Moatti, 2017. “The history of transhumanism (cont.),” Notes and Queries, volume 64, number 1, pp. 167–170.
doi: https://doi.org/10.1093/notesj/gjw256, accessed 10 March 2024.

Jacob Davis, 2023. “Longtermists are pushing a new cold war with China,” Jacobin (25 May), at https://jacobin.com/2023/05/longtermism-new-cold-war-biden-administration-china-semiconductors-ai-policy, accessed 1 February 2024.

Neşe Devenot, 2023. “TESCREAL hallucinations: Psychedelic and AI hype as inequality engines,” Journal of Psychedelic Studies, volume 7, number S1, pp. 22–39.
doi: https://doi.org/10.1556/2054.2023.00292, accessed 10 March 2024.

Mirtha Donastorg, 2023. “Potentially useful, but error-prone: ChatGPT on the Black tech ecosystem,” The Plug (27 February), at https://tpinsights.com/potentially-useful-but-error-prone-chatgpt-on-the-black-tech-ecosystem/, accessed 31 January 2024.

Dante D’Orazio, 2014. “Elon Musk believes colonizing Mars will save humanity,” The Verge (4 October), at https://www.theverge.com/2014/10/4/6907721/elon-musks-believes-colonizing-mars-will-save-humanity, accessed 31 January 2024.

Maureen Dowd, 2017. “Elon Musk’s billion-dollar crusade to stop the A.I. apocalypse,” Vanity Fair (26 March), at https://www.vanityfair.com/news/2017/03/elon-musk-billion-dollar-crusade-to-stop-ai-space-x, accessed 31 January 2024.

Sheldon Ekland-Olson, 2011. Who lives, who dies, who decides? Abortion, neonatal care, assisted dying, and capital punishment. New York: Routledge.
doi: https://doi.org/10.4324/9780203182277, accessed 10 March 2024.

European Union, 2011. “Directive 2011/65/EU of the European Parliament and of the Council of 8 June 2011 on the restriction of the use of certain hazardous substances in electrical and electronic equipment (recast) Text with EEA relevance,” at https://eur-lex.europa.eu/legal-content/EN/TXT/PDF/?uri=CELEX:32011L0065, accessed 1 February 2024.

Grant Fergusson, Caitriona Fitzgerald, Chris Frascella, Megan Iorio, Tom McBrien, Calli Schroeder, Ben Winters, and Enid Zhou, 2023. “Generating harms: Generative AI’s impact & paths forward,” Electronic Privacy Information Center, at https://epic.org/wp-content/uploads/2023/05/EPIC-Generative-AI-White-Paper-May2023.pdf, accessed 31 January 2024.

Hayden Field, 2023. “Anthropic, the OpenAI rival, is in talks to raise $750 million in funding at an $18.4 billion valuation,” CNBC (21 December), at https://www.cnbc.com/2023/12/21/openai-rival-anthropic-in-talks-to-raise-750-million-funding-round.html, accessed 31 January 2024.

McKenna Fitzgerald, Aaron Boddy, and Seth D. Baum, 2020. “2020 survey of artificial general intelligence projects for ethics, risk, and policy,” Global Catastrophic Risk Institute, Technical Report, 20-1, at https://gcrinstitute.org/papers/055_agi-2020.pdf, accessed 31 January 2024.

Richard S. Fogarty and Michael A Osborne, 2010. “Eugenics in France and the colonies,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 332–346.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0020, accessed 10 March 2024.

Fortune Editors, 2023. “Anthropic’s CEO says why he quit his job at OpenAI to start a competitor that just received billions from Amazon and Google,” Fortune (26 September), at https://fortune.com/2023/09/26/anthropic-ceo-interview-quit-open-ai-amazon-investment/, accessed 31 January 2024.

Kathy Gaca, 2003. The making of fornication: Eros, ethics, and political reform in Greek philosophy and early Christianity. Berkeley: University of California Press.

David J. Galton, 1998. “Greek theories on eugenics,” Journal of Medical Ethics, volume 24, pp. 263–267.
doi: https://doi.org/10.1136/jme.24.4.263, accessed 10 March 2024.

Francis Galton, 1869. Hereditary genius: An inquiry into its laws and consequences. London: Macmillan & Co.

Timnit Gebru, 2023. “Deep Learning Indaba DAY 2,” at https://www.youtube.com/watch?v=5cm_FvHmtVI, accessed 31 January 2024.

Timnit Gebru, 2022. “Effective altruism is pushing a dangerous brand of ‘AI safety’,” Wired (30 November), at https://www.wired.com/story/effective-altruism-artificial-intelligence-sam-bankman-fried/, accessed 31 January 2024.

Timnit Gebru and Margaret Mitchell, 2022. “We warned Google that people might believe AI was sentient. Now it’s happening,” Washington Post (17 June), at https://www.washingtonpost.com/opinions/2022/06/17/google-ai-ethics-sentient-lemoine-warning/, accessed 31 January 2024.

Thomas Germain, 2023. “‘Magic intelligence in the sky’: Sam Altman has a cute new name for the singularity,” Yahoo Finance (13 November), at https://finance.yahoo.com/news/magic-intelligence-sky-sam-altman-174500884.html, accessed 31 January 2024.

Ben Goertzel, 2015. “Superintelligence: Fears, promises and potentials: Reflections on Bostrom’s Superintelligence, Yudkowsky’s From AI to Zombies, and Weaver and Veitas’s ‘Open-Ended Intelligence’,” Journal of Ethics and Emerging Technologies, volume 25, number 2, pp. 55–87.
doi: https://doi.org/10.55613/jeet.v25i2.48, accessed 10 March 2024.

Ben Goertzel, 2010. A cosmist manifesto: Practical philosophy for the posthuman age. Lexington, Kent.: Humanity Plus Press, and at https://goertzel.org/CosmistManifesto_July2010.pdf, accessed 31 January 2024.

Sharon Goldman, 2023. “Sen. Murphy’s tweets on ChatGPT spark backlash from former White House AI policy advisor,” VentureBeat (28 March), at https://venturebeat.com/ai/sen-murphys-tweets-on-chatgpt-spark-backlash-from-former-white-house-ai-policy-advisor/, accessed 31 January 2024.

Linda Gottfredson, 1997. “Why g matters: The complexity of everyday life,” Intelligence, volume 24, number 1, pp. 79–132.
doi: https://doi.org/10.1016/S0160-2896(97)90014-3, accessed 10 March 2024.

Mary Gray and Siddharth Suri, 2019. Ghost work: How to stop Silicon Valley from building a new global underclass. Boston, Mass.: Houghton Mifflin Harcourt.[ゴースト・ワーク　グローバルな新下層階級をシリコンバレーが生み出すのをどう食い止めるか、晶文社]

Hilary Greaves and William MacAskill, 2019. “The case for strong longtermism,” Global Priorities Institute (GPI) Working Paper, number 7-2019, at https://web.archive.org/web/20210710220451/https://globalprioritiesinstitute.org/wp-content/uploads/Hilary-Greaves-and-William-MacAskill_strong-longtermism.pdf, accessed 31 January 2024.

Tristan Greene, 2022. “Meta takes new AI system offline because Twitter users are mean,” The Next Web (19 November), at https://thenextweb.com/news/meta-takes-new-ai-system-offline-because-twitter-users-mean, accessed 31 January 2024.

Peter M. Haas, 1992. “Introduction: Epistemic communities and international policy coordination,” International Organization, volume 46, number 1, pp. 1–35.
doi: https://doi.org/10.1017/S0020818300001442, accessed 31 January 2024.

Asmelash Teka Hadgu, Paul Azunre, and Timnit Gebru, 2023. “Combating harmful hype in natural language processing,” ICLR 2023, at https://pml4dc.github.io/iclr2023/pdf/PML4DC_ICLR2023_39.pdf, accessed 31 January 2024.

Karen Hao, 2020. “The messy, secretive reality behind OpenAI’s bid to save the world,” MIT Technology Review (17 February), at https://www.technologyreview.com/2020/02/17/844721/ai-openai-moonshot-elon-musk-sam-altman-greg-brockman-messy-secretive-reality/, accessed 31 January 2024.

Malcolm Harris, 2023. Palo Alto: A history of California, capitalism, and the world. New York: Little, Brown.

Alex Heath, 2024. “Mark Zuckerberg’s new goal is creating artificial general intelligence,” The Verge (18 January), at https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview, accessed 31 January 2024.

Brian Hepburn and Hanne Andersen, 2021. “Scientific method,” In: Edward Zalta (editor). Stanford Encyclopedia of Philosophy (1 June), at https://plato.stanford.edu/entries/scientific-method/, accessed 1February 2024.

Richard Herrnstein and Charles Murray, 1994. The Bell Curve: Intelligence and class structure in American life. New York: Free Press.

David Hill, 2013. “Exclusive interview: Ray Kurzweil discusses his first two months at Google,” Singularity Hub (19 March), at https://singularityhub.com/2013/03/19/exclusive-interview-ray-kurzweil-discusses-his-first-two-months-at-google/, accessed 31 January 2024.

Julian Huxley, 1957. New bottles for new wine, essays. London: Chatto & Windus.

International Electrotechnical Commission, 2020. “Testing to ensure electronic devices are safe to use in extreme weather,” at https://www.iec.ch/blog/testing-ensure-electronic-devices-are-safe-use-extreme-weather, accessed 1 February 2024.

Harry H. Jiang, Lauren Brown, Jessica Cheng, Mehtab Khan, Abhishek Gupta, Deja Workman, Alex Hanna, Johnathan Flowers, and Timnit Gebru, 2023. “AI art and its impact on artists,” AIES ’23: Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society, pp. 363–374.
doi: https://doi.org/10.1145/3600211.3604681, accessed 10 March 2024.

Liwei Jiang, Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras, Jenny Liang, Jesse Dodge, Keisuke Sakaguchi, Maxwell Forbes, Jon Borchardt, Saadia Gabriel, Yulia Tsvetkov, Oren Etzioni, Maarten Sap, Regina Rini, and Yejin Choi, 2022. “Can machines learn morality? The Delphi experiment,” arXiv:2110.07574v2 (12 July).
doi: https://doi.org/10.48550/arXiv.2110.07574, accessed 31 January 2024.

Yarden Katz, 2020. Artificial whiteness: Politics and ideology in artificial intelligence. New York: Columbia University Press.
doi: https://doi.org/10.7312/katz19490, accessed 10 March 2024.

Ron Kaufman, 1992. “U. Delaware reaches accord on race studies,” The Scientist (5 July), at https://archive.ph/XobFu#selection-86.0-98.0, accessed 31 January 2024.

Mehtab Khan and Alex Hanna, 2022. “The subjects and stages of AI dataset development: A framework for dataset accountability,” SSRN (13 September).
doi: https://dx.doi.org/10.2139/ssrn.4217148, accessed 31 January 2024.

Raffi Khatchadourian, 2015. “The doomsday invention,” New Yorker (23 November), at https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom, accessed 31 January 2024.

Heidy Khlaaf, 2023. “Towards comprehensive risk assessments and assurance of AI-based systems,” Trail of Bits (7 March), at https://www.trailofbits.com/documents/Toward_comprehensive_risk_assessments.pdf, accessed 31 January 2024.

Tom Koch, 2020. “Transhumanism, moral perfection, and those 76 trombones,” Journal of Medicine & Philosophy, volume 45, number 2, pp. 179–192.
doi: https://dx.doi.org/10.1093/jmp/jhz040, accessed 31 January 2024.

Alexander Kossiakoff, Steven Biemer, Samuel Seymour, and David Flanigan, 2020. Systems engineering principles and practice. Third edition. New York: Wiley.
doi: https://dx.doi.org/10.1002/9781119516699, accessed 10 March 2024.

Ray Kurzweil, 2006. “Reinventing humanity: The future of human-machine intelligence,” Futurist, pp. 39–40, 42–46, and at https://www.singularity.com/KurzweilFuturist.pdf, accessed 31 January 2024.

Ray Kurzweil, 2005. The singularity is near: When humans transcend biology. New York: Viking.[ポスト・ヒューマン誕生、他に「シンギュラリティはより近く　人類がＡＩと融合するとき」NHK出版2024あり]

Ray Kurzweil, 1999. The age of spiritual machines: When computers exceed human intelligence. New York: Viking.

Shane Legg, 2008. “Machine super intelligence,” Ph.D. dissertation, University of Lugano, at https://www.vetta.org/documents/Machine_Super_Intelligence.pdf, accessed 31 January 2024.

Shane Legg and Marcus Hutter, 2007. “Universal intelligence: A definition of machine intelligence,” Minds and Machines, volume 17, number 4, pp. 391–444.
doi: https://dx.doi.org/10.1007/s11023-007-9079-x, accessed 10 March 2024.

Gideon Lewis-Kraus, 2022. “The reluctant prophet of effective altruism,” New Yorker (8 August), at https://www.newyorker.com/magazine/2022/08/15/the-reluctant-prophet-of-effective-altruism, accessed 31 January 2024.

Connie Loizos, 2019. “Sam Altman’s leap of faith,” TechCrunch (18 May), at https://techcrunch.com/2019/05/18/sam-altmans-leap-of-faith/, accessed 31 January 2024.

Alexandra Sasha Luccioni, Yacine Jernite, and Emma Strubell, 2023. “Power hungry processing: Watts driving the cost of AI deployment?” arXiv:2311.16863 (23 November).
doi: https://doi.org/10.48550/arXiv.2311.16863, accessed 2 February 2024.

William MacAskill, 2022. What we owe the future. New York: Basic Books.[見えない未来を変える「いま」　〈長期主義〉倫理学のフレームワーク、みすず書房]

William MacAskill, 2015. Doing good better: Effective altruism and how you can make a difference. New York: Gotham Books.[効果的な利他主義〉宣言！　慈善活動への科学的アプローチ、みすず書房]

William MacAskill, 2013. “Replaceability, career choice, and making a difference,” Ethical Theory and Moral Practice, volume 17, pp. 269–283.
doi: https://dx.doi.org/10.1007/s10677-013-9433-4, accessed 10 March 2024.

John Markoff, 2005. “Behind artificial intelligence, a squadron of bright real people,” New York Times (14 October), at https://www.nytimes.com/2005/10/14/technology/behind-artificial-intelligence-a-squadron-of-bright-real-people.html, accessed 31 January 2024.

Daphne Martschenko, 2017. “The IQ test wars: Why screening for intelligence is still so controversial,” The Conversation (10 October), at https://theconversation.com/the-iq-test-wars-why-screening-for-intelligence-is-still-so-controversial-81428, accessed 31 January 2024.

Dylan Matthews, 2022. “How effective altruism went from a niche movement to a billion-dollar force,” Vox (8 August), at https://www.vox.com/future-perfect/2022/8/8/23150496/effective-altruism-sam-bankman-fried-dustin-moskovitz- billionaire-philanthropy-crytocurrency, accessed January 31, 2024.

Dylan Matthews, 2015. “I spent a weekend at Google talking with nerds about charity. I came away … worried,” Vox (10 August), at https://www.vox.com/2015/8/10/9124145/effective-altruism-global-ai, accessed 31 January 2024.

John McCarthy, Marvin L. Minsky, Nathaniel Rochester, and Claude E. Shannon, 1955. “A proposal for the Dartmouth summer research project on artificial intelligence, August 31, 1955,” (31 August), at https://archive.computerhistory.org/resources/access/text/2023/06/102720392-05-01-acc.pdf, accessed 10 March 2024.

Dan McQuillan, 2022. Resisting AI: An anti-fascist approach to artificial intelligence. Bristol: Bristol University Press.
doi: https://doi.org/10.2307/j.ctv2rcnp21, accessed 10 March 2024.

Barry Mehler, 1997. “Beyondism: Raymond B. Cattell and the new eugenics,” Genetica, volume 99, numbers 2–3, pp. 153–163.
doi: https://doi.org/10.1007/BF02259519, accessed 10 March 2024.

Dan Milmo and Agency, 2023. “Two US lawyers fined for submitting fake court citations from ChatGPT,” Guardian (23 June), at https://www.theguardian.com/technology/2023/jun/23/two-us-lawyers-fined-submitting-fake-court-citations-chatgpt, accessed 31 January 2024.

Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, Ioannis Antonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg, and Demis Hassabis, 2015. “Human-level control through deep reinforcement learning,” Nature, volume 518, number 7540 (26 February), pp. 529–533.
doi: https://doi.org/10.1038/nature14236, accessed 10 March 2024.

Max More, 1998. “The extropian principles, v. 3.0,” at http://www.mrob.com/pub/religion/extro_prin.html, accessed 10 March 2024.

Ernest Mwebaze, Timnit Gebru, Andrea Frome, Solomon Nsumba, and Jeremy Tusubira, 2019. “iCassava 2019 fine-grained visual categorization challenge,” arXiv:1908.02900 (8 August).
doi: https://doi.org/10.48550/arXiv.1908.02900, accessed 31 January 2024.

Jordan Novet, 2015. “Sam Altman, Elon Musk, Peter Thiel, and others commit $1B to nonprofit artificial intelligence research lab OpenAI,” VentureBeat (11 December), at https://venturebeat.com/business/sam-altman-elon-musk-peter-thiel-and-others-commit-1b-to-nonprofit-artificial-research-lab-openai/, accessed 31 January 2024.

Scott W. O’Leary-Kelly and Robert J. Vokurka, 1998. “The empirical assessment of construct validity,” Journal of Operations Management, volume 16, number 4, pp. 387–405.
doi: https://doi.org/10.1016/S0272-6963(98)00020-5, accessed 10 March 2024.

Lorena O’Neil, 2023. “These women tried to warn us about AI,” Rolling Stone (12 August), at https://www.rollingstone.com/culture/culture-features/women-warnings-ai-danger-risk-before-chatgpt-1234804367/, accessed 31 January 2024.

Toby Ord, 2020. The precipice: Existential risk and the future of humanity. New York: Hachette Books.

Patrick Parrinder, 1997. “Eugenics and utopia: Sexual selection from Galton to Morris,” Utopian Studies, volume 8, number 2, pp. 1–12.

David Pearce, 1995. “The hedonistic imperative,” at https://www.hedweb.com, accessed 10 March 2024.

Cassio Pennachin and Ben Goertzel, 2007a. “Contemporary approaches to artificial general intelligence,” In: Cassio Pennachin and Ben Goertzel (editors). Artificial general intelligence. Berlin: Springer, pp. 1–30.
doi: https://doi.org/10.1007/978-3-540-68677-4_1, accessed 10 March 2024.

Cassio Pennachin and Ben Goertzel (editors), 2007b. Artificial general intelligence. Berlin: Springer.
doi: https://doi.org/10.1007/978-3-540-68677-4, accessed 10 March 2024.

Billy Perrigo, 2023. “Exclusive: OpenAI used Kenyan workers on less than $2 per hour to make ChatGPT less toxic,” Time (18 January), at https://time.com/6247678/openai-chatgpt-kenya-workers/, accessed 31 January 2024.

Maria Sophia Quine, 2010. “The first-wave eugenic revolution in southern Europe: Science sans frontières,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 377–397.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0023, accessed 10 March 2024.

Inioluwa Deborah Raji, Andrew Smart, Rebecca N White, Margaret Mitchell, Timnit Gebru, Ben Hutchinson, Jamila Smith-Loud, Daniel Theron, and Parker Barnes, 2020. “Closing the AI accountability gap: Defining an end-to-end framework for internal algorithmic auditing,” FAT* ’20: Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, pp. 33–44.
doi: https://doi.org/10.1145/3351095.3372873, accessed 10 March 2024.

Antonio Regalado, 2018. “A startup is pitching a mind-uploading service that is ‘100 percent fatal’,” MIT Technology Review (13 March), at https://www.technologyreview.com/2018/03/13/144721/a-startup-is-pitching-a-mind-uploading-service-that-is-100-percent-fatal/, accessed 31 January 2024.

Ed Regis, 1994. “Meet the extropians,” Wired (1 October), at https://www.wired.com/1994/10/extropians/, accessed 31 January 2024.

Reuters, 2023a. “OpenAI may leave the EU if regulations bite — CEO” (24 May), at https://www.reuters.com/technology/openai-may-leave-eu-if-regulations-bite-ceo-2023-05-24/, accessed 31 January 2024.

Reuters, 2023b. “Elon Musk launches AI firm xAI as he looks to take on OpenAI” (13 July), at https://www.reuters.com/technology/elon-musks-ai-firm-xai-launches-website-2023-07-12/, accessed 31 January 2024.

Aida Roige, 2014. “Intelligence and IQ testing,” Eugenics Archives, at https://www.eugenicsarchive.ca/encyclopedia?id=535eecb77095aa000000023a, accessed 31 January 2024.

Kevin Roose, 2023. “Inside the white-hot center of AI doomerism,” New York Times (11 July), at https://www.nytimes.com/2023/07/11/technology/anthropic-ai-claude-chatbot.html, accessed 31 January 2024.

David Rowan, 2015. “DeepMind: Inside Google’s super-brain,” Wired (22 June), at https://www.wired.co.uk/article/deepmind, accessed 31 January 2024.

Douglas Rushkoff, 2022. Survival of the richest: Escape fantasies of the tech billionaires. New York: Norton.

Melia Russell and Julia Black, 2023. “He’s played chess with Peter Thiel, sparred with Elon Musk and once, supposedly, stopped a plane crash: Inside Sam Altman’s world, where truth is stranger than fiction,” Business Insider (27 April), at https://www.businessinsider.com/sam-altman-openai-chatgpt-worldcoin-helion-future-tech-2023-4, accessed 31 January 2024.

Stuart Russell and Peter Norvig, 2010. Artificial intelligence: A modern approach. Third edition. London: Pearson Education.

Angela Saini, 2019. Superior: The return of race science. Boston, Mass.: Beacon Press.[科学の人種主義とたたかう　人種概念の起源から最新のゲノム科学まで、作品社]

Paula Sambo, Jeremy Hill, and Yueqi Yang, 2023. “FTX halts sale of its $500 million stake in AI startup Anthropic,” Bloomberg (27 June), at https://www.bloomberg.com/news/articles/2023-06-27/bankman-fried-s-ftx-said-to-halt-sale-of-its-stake-in-ai-startup-anthropic?embedded-checkout=true, accessed 31 January 2024.

Anders Sandberg and Nick Bostrom, 2008. “Whole brain emulation: A roadmap,” Future of Humanity Institute, Oxford University, Technical Report, number 2008-3, at http://www.fhi.ox.ac.uk/reports/2008-3.pdf, accessed 31 January 2024.

Chirag Shah and Emily M. Bender 2024. “Envisioning information access systems: What makes for good tools and a healthy Web?” ACM Transactions on the Web, version at https://faculty.washington.edu/ebender/papers/Envisioning_IAS_preprint.pdf, accessed 31 January 2024.
doi: https://doi.org/10.1145/3649468, accessed 10 March 2024.

Chirag Shah and Emily M. Bender, 2022. “Situating search,” CHIIR ’22: Proceedings of the 2022 Conference on Human Information Interaction and Retrieval, pp. 221–232.
doi: https://doi.org/10.1145/3498366.3505816, accessed 10 March 2024.

Sam Shead, 2020. “How DeepMind boss Demis Hassabis used chess to get billionaire Peter Thiel to ‘take notice’ of his AI lab,” CNBC (7 December), at https://www.cnbc.com/2020/12/07/deepminds-demis-hassabis-used-chess-to-get-peter-thiels-attention.html, accessed 31 January 2024.

Sam Shead, 2017. “How DeepMind convinced billionaire Peter Thiel to invest without moving the company to Silicon Valley,” Business Insider (18 Juiy), at https://www.businessinsider.com/how-deepmind-convinced-peter-thiel-to-invest-outside-silicon-valley-2017-7, accessed 31 January 2024.

Henry Shevlin, Karina Vold, Matthew Crosby, and Marta Halina, 2019. “The limits of machine intelligence: Despite progress in machine intelligence, artificial general intelligence is still a major challenge,” EMBO Reports, volume 20, number 10, e49177.
doi: https://doi.org/10.15252/embr.201949177, accessed 10 March 2024.

Rachel Shin, 2023. “Elon Musk wants to create a superintelligent A.I. because he thinks a smarter A.I. is less likely to wipe out humanity,” Fortune (17 July), at https://fortune.com/2023/07/17/elon-musk-superintelligent-a-i-less-likely-to-wipe-out-humanity-chatgpt-openai/, accessed 31 January 2024.

MacKenzie Sigalos, 2023. “Sam Bankman-Fried found guilty on all seven criminal fraud counts,” CNBC (2 November), at https://www.cnbc.com/2023/11/02/sam-bankman-fried-found-guilty-on-all-seven-criminal-fraud-counts.html, accessed 31 January 2024.

David Silver, Satinder Singh, Doina Precup, and Richard S. Sutton, 2021. “Reward is enough,” Artificial Intelligence, volume 299, 103535.
doi: https://doi.org/10.1016/j.artint.2021.103535, accessed 10 March 2024.

Robert Sparrow, 2011. “A not-so-new eugenics: Harris and Savulescu on human enhancement,” Hastings Center Report, volume 41, number 1, pp. 32–42.
doi: https://doi.org/10.1002/j.1552-146x.2011.tb00098.x, accessed 10 March 2024.

Alexandra Minna Stern, 2005. “Sterilized in the name of public health: Race, immigration, and reproductive control in modern California,” American Journal of Public Health, volume 95, number 7, pp. 1,128–1,138.
doi: https://doi.org/10.2105/AJPH.2004.041608, accessed 10 March 2024.

Alexandra Minna Stern, Nicole L. Novak, Natalie Lira, Kate O’Connor, Siobán Harlow, and Sharon Kardia, 2017. “California’s sterilization survivors: An estimate and call for redress,” American Journal of Public Health, volume 107, number 1, pp. 50–54.
doi: https://doi.org/10.2105/AJPH.2016.303489, accessed 10 March 2024.

Matthew Sweet, 2011. “Introduction,” Francis Galton’s Kantsaywhere, UCL Special Collections, at https://www.ucl.ac.uk/library/special-collections/kantsaywhere, accessed 31 January 2024.

Gillian Tan, Edward Ludlow, Shirin Ghaffary, and Bloomberg, 2023. “Sam Altman’s OpenAI to be second-most valuable U.S. startup behind Elon Musk’s SpaceX based on early-talks funding round,” Fortune (23 December), at https://fortune.com/2023/12/23/openai-valuation-100-billion-funding-round/, accessed 31 January 2024.

Max Tegmark, 2017. “Effective altruism, existential risk, & existential hope,” at https://www.youtube.com/watch?v=2f1lmNqbgrk, accessed 31 January 2024.

James Temperton, 2017. “DeepMind’s new AI ethics unit is the company’s next big move,” Wired (4 October), at https://www.wired.co.uk/article/deepmind-ethics-and-society-artificial-intelligence, accessed 31 January 2024.

David Thiel, 2023. “Identifying and eliminating CSAM in generative ML training data and models,” Stanford Internet Observatory Cyber Policy Center (20 December), at https://stacks.stanford.edu/file/druid:kh752sm9123/ml_training_data_csam_report-2023-12-20.pdf, accessed 31 January 2024.

Nitasha Tiku, 2023. “How elite schools like Stanford became fixated on the AI apocalypse,” Washington Post (5 July), at https://www.washingtonpost.com/technology/2023/07/05/ai-apocalypse-college-students, accessed 31 January 2024.

Émile P. Torres, 2024. “Colonization, consciousness, and longtermism,” In: Marcello Di Paola and Mirko Garasic (editors). Philosophy of outer space: Explorations, controversies, speculations. London: Routledge.
doi: https://doi.org/10.4324/9781003374381, accessed 10 March 2024.

Émile P. Torres, 2023a. “Nick Bostrom, longtermism, and the eternal return of eugenics,” Truthdig (23 January), at https://www.truthdig.com/articles/nick-bostrom-longtermism-and-the-eternal-return-of-eugenics-2/, accessed 31 January 2024.

Émile P. Torres, 2023b. “The acronym behind our wildest AI dreams and nightmares,” Truthdig (15 June), at https://www.truthdig.com/articles/the-acronym-behind-our-wildest-ai-dreams-and-nightmares/, accessed 31 January 2024.

Émile P. Torres, 2023c. “‘Effective accelerationism’ and the pursuit of cosmic utopia,” Truthdig (14 December), at https://www.truthdig.com/articles/effective-accelerationism-and-the-pursuit-of-cosmic-utopia/, accessed 31 January 2024.

Émile P. Torres, 2022. “What ‘longtermism’ gets wrong about climate change,” Bulletin of the Atomic Scientists (22 November), at https://thebulletin.org/2022/11/what-longtermism-gets-wrong-about-climate-change/#post-heading, accessed 31 January 2024.

Émile P. Torres, 2021. “The dangerous ideas of longtermism and existential risk,” Current Affairs (28 July), at https://www.currentaffairs.org/2021/07/the-dangerous-ideas-of-longtermism-and-existential-risk, accessed 31 January 2024.

Émile P. Torres, 2019. “Facing disaster: The great challenges framework,” Foresight, volume 21, number 1, pp. 4–34.
doi: https://doi.org/10.1108/FS-04-2018-0040, accessed 10 March 2024.

Priyadarshi Tripathy and Kshirasagar Naik, 2011. Software testing and quality assurance: Theory and practice. New York: Wiley.

Emily Tucker, 2022. “Artifice and intelligence,” Tech Policy Press (16 March), at https://www.techpolicy.press/artifice-and-intelligence/, accessed 31 January 2024.

Marius Turda, 2010. “Race, science, and eugenics in the twentieth century,” In: Alison Bashford and Philippa Levine (editors). Oxford handbook of the history of eugenics. Oxford: Oxford University Press, pp. 62–79.
doi: https://doi.org/10.1093/oxfordhb/9780195373141.013.0004, accessed 10 March 2024.

Iris van Rooij, Olivia Guest, Federico Adolfi, Ronald de Haan, Antonina Kolokolova, and Patricia Rich, 2023. “Reclaiming AI as a theoretical tool for cognitive science,” PsyArXiv (1 August).
doi: https://doi.org/10.31234/osf.io/4cbuv, accessed 31 January 2024.

Ashlee Vance, 2016. Elon Musk: How the billionaire CEO of SpaceX and Tesla is shaping our future. London: Virgin.[イーロン・マスク　未来を創る男、講談社]

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin, 2017. “Attention is all you need,” NeurIPS at https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html, accessed 31 January 2024.

Peter Voss, 2007. “Essentials of general intelligence: The direct path to artificial general intelligence,” In: Cassio Pennachin and Ben Goertzel (editors). Artificial general intelligence. Berlin: Springer, pp. 131–157.
doi: https://doi.org/10.1007/978-3-540-68677-4_4, accessed 10 March 2024.

Vivek Wadhwa, 2020. “The genetic engineering genie is out of the bottle,” Foreign Policy (11 September), at https://foreignpolicy.com/2020/09/11/crispr-pandemic-gene-editing-virus/, accessed 31 January 2024.

Elizabeth Weil, 2023. “Sam Altman is the Oppenheimer of our age OpenAI’s CEO thinks he knows our future. What do we know about him?” New York Magazine (25 September), at https://nymag.com/intelligencer/article/sam-altman-artificial-intelligence-openai-profile.html, accessed 31 January 2024.

H. G. Wells, 1902. The discovery of the future: A discourse delivered to the Royal Institution on January 24, 1902. London: T. Fisher Unwin.

H. G. Wells, Julian Huxley, and G.P. Wells, 1931. The science of life. London: Cassell.

Sarah Myers West, 2020. “AI and the far right: A history we can’t ignore,” AI Now (4 March), at https://ainowinstitute.org/publication/ai-and-the-far-right-a-history-we-cant-ignore-2, accessed 31 January 2024.

Adrienne Williams, Milagros Miceli, and Timnit Gebru, 2022. “The exploited labor behind artificial intelligence,” Noema (13 October), at https://www.noemamag.com/the-exploited-labor-behind-artificial-intelligence/, accessed 31 January 2024.

Chloe Xiang, 2023. “‘He would still be here’: Man dies by suicide after talking with AI chatbot, widow says,” Vice (30 March), at https://www.vice.com/en/article/pkadgm/man-dies-by-suicide-after-talking-with-ai-chatbot-widow-says, accessed 31 January 2024.

George M. Young, 2012. The Russian cosmists: The esoteric futurism of Nikolai Fedorov and his followers. Oxford: Oxford University Press.
doi: https://doi.org/10.1093/acprof:oso/9780199892945.001.0001, accessed 10 March 2024.

Eliezer Yudkowsky, 2023. “Pausing AI developments isn’t enough. We need to shut it all down,” Time (29 March), at https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/, accessed 31 January 2024.

Eliezer S. Yudkowsky, 2000. “The singularitarian principles, version 1.0,,” at https://web.archive.org/web/20000621223020/http://singinst.org/singularitarian/principles.html, accessed 10 March 2024.

Tukufu Zuberi, 2001. Thicker than blood: How racial statistics lie. Minneapolis: University of Minnesota Press.

Ethan Zuckerman, 2024. “Two warring visions of AI,” Prospect (16 January), at https://www.prospectmagazine.co.uk/ideas/technology/64491/two-warring-visions-of-artificial-intelligence-tescreal, accessed 31 January 2024.

Editorial history

Received 21 September 2023; accepted 10 March 2024.

This paper is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence
by Timnit Gebru and Émile P. Torres.
First Monday, Volume 29, Number 4 – 1 April 2024
https://firstmonday.org/ojs/index.php/fm/article/download/13636/11599
doi: https://dx.doi.org/10.5210/fm.v29i4.13636.

https://firstmonday.org/ojs/index.php/fm/article/view/13636/11599

イデオロギー	定義	影響力のある人物	組織
Transhumanism	「人類が『自己を超越する』」という考えを中心とする思想（ハクスリー(Huxley)、1957年を参照）。現代のトランスヒューマニストたちは、人間の生体を根本的に「強化」することの実現可能性と望ましさを主張しており、それによって人類が不死や超知能、より高い合理性などを獲得できるようになると考えている。	Julian Huxley (1957). Nick Bostrom (2005c, 2009a). David Pearce (Bostrom, 2005a). Max More (Bostrom, 2005a).	Extropy Institute. Alcor. World Transhumanist Association. Future of Humanity Institute.
Extropianism	合理性、自己変革、科学技術の進歩、経済成長を重視する、広義のリバタリアン的なトランスヒューマニズムの一形態。	Max More (current) [23]. Nick Bostrom (1990s) (Khatchadourian, 2015). Eliezer Yudkowsky (1990s) [24].	Extropy Institute.
Singularitarianism	人間と機械の融合を重視し、「シンギュラリティ」と呼ばれる未来の出来事を予見するトランスヒューマニズムの一形態（Kurzweil, 2005）。	Ray Kurzweil (2005). Eliezer Yudkowsky (2000).	Singularity Institute (defunct). Singularity University (cofounded by Kurzweil). Machine Intelligence Research Institute.
Cosmism	人間と機械の融合、「知覚能力を持つAI」の開発やマインドアップロード、宇宙植民地化、そして「現在の理解や想像をはるかに超えた科学的な『未来の魔法』」を予見する未来像である（Goertzel, 2010）。	Ben Goertzel (2010).
Rationalism	2009年にエリーザー・ユドコウスキー(Eliezer Yudkowsky)によって設立されたウェブサイト「LessWrong」から生まれた思想である。合理主義者たちは「人間の推論と意思決定の向上」に重点を置いており、多くのメンバーは、高度なAIが「人類の未来にとって極めて重要な問題」であると信じている [25]。	Eliezer Yudkowsky. Jaan Tallinn [26]. Peter Thiel [27]. Nick Bostrom. Scott Alexander [28]. Vitalik Buterin [29].	LessWrong community blogging website. Machine Intelligence Research Institute.
Effective Altruism	合理主義の双子の兄弟とも言える運動だ。合理主義者が自らの合理性を最大化することを目指すのに対し、効果的利他主義者は世界に対する「プラスの影響」を最大化しようと努めている [30]。	William MacAskill (MacAskill, 2015). Toby Ord [31]. Nick Bostrom (Matthews, 2015). Dustin Moskovitz [32]. Sam Bankman-Fried [33].	Centre for Effective Altruism. Open Philanthropy. Future of Humanity Institute.
Longtermism	他のTESCREALイデオロギーの多くの中心的な特徴を組み合わせた「倫理」である（Ord, 2020）。これは、新たなポストヒューマン種となること、宇宙への植民、自然の支配、経済生産性の最大化、そして到達可能な宇宙の範囲内で可能な限り多くの価値を創造することの道徳的重要性を強調している。	Nick Bostrom (Crary, 2023). William MacAskill (Greaves and MacAskill, 2019). Toby Ord (Ord, 2020). Nick Beckstead (Beckstead, 2013). Hilary Greaves (Greaves and MacAskill, 2019) Elon Musk (see Torres, 2023c) Jaan Tallinn (see Torres, 2021). Sam Bankman-Fried (see Lewis-Kraus, 2022).	Future of Humanity Institute. Future of Life Institute. Centre for the Study of Existential Risk. Machine Intelligence Research Institute.

Howdy! How can we help you?