(訳者まえがき)ChatGPTに魅了される人達が急増する事態は、人間にとっての「言葉」とは何なのかを改めて考えるべきときにきていることを痛感させられている。今起きている事態は、人間の言葉が機械に拡張可能になった結果として、人間が言葉の理解に前提してきた文脈とか行間を読むといった操作を通じて、書かれた言葉を解釈するという行為が、見事にはぐらかされてしまっている、ということだろう。言葉の真意や言葉の背景にある書き手の生まれてから今に至る彼／彼女の経験や歴史などは、存在しないので、ChatGPTを精神分析うることもできない。しかし、そうした存在の発する言葉から多くの人達は、その存在を人間の言葉と同じものとみなしはじめている。以下のエッセイは、こうした問題に対して言語学者たちからの批判や論争を丁寧に追求したもので、このCHatGPT騒動をクールダウンする上でも是非お読みいただきたい。(小倉利丸)

---

2023年3月1日

Elizabeth Weil
あなたはオウムではないし、チャットボットは人間ではない。そして、エミリー・M・ベンダーEmily M. Benderという言語学者は、私たちがこのことを忘れたときに何が起こるのかをとても心配している。
Elizabeth Weil, a features writer at New York

I-told-you-so[そらみたことか]が好きな人はいない。しかし、MicrosoftのBingが不気味なラブレターを作り始めるよりも前に、MetaのGalacticaが人種差別的な暴言を吐くよりも前に、ChatGPTが完璧にまともな大学の小論文を書き始めて教授が「畜生、採点なんかやるもんか」と言うよりも前に、技術レポーターが「AIが検索の未来、もしかしたら他のすべての未来も」と必死におべんちゃらを書くよりも前に、エミリー・M・ベンダーがタコの論文the octopus paperを共同執筆していた。

ベンダーは、ワシントン大学の計算言語学者である。彼女は、同じく計算言語学者computational linguist のアレクサンダー・コラーAlexander Kollerと2020年にこの論文を発表した。その目的は、ChatGPTのようなチャットボットを支えるテクノロジーの大規模言語モデル（LLM）には何ができ、何ができないかを説明することだった。設定はこうだ。

英語が堪能なAさんとBさんが、2つの無人島に別々に取り残されたとする。2人はやがて、以前この島を訪れた人が通信装置を残しており、海底ケーブルで互いに通信できることを知る。A、Bは楽しげにメッセージを打ち始める。

一方、2つの島を訪れることも観察することもできない超高知能の深海タコOは、海底ケーブルを盗聴する方法を発見し、AとBの会話を聞くことができる。O は当初、英語は全く分からなかったが、統計的なパターンを検出することに長けている。そしてO は、Aの発話に対してBがどのような反応を示すかを正確に予測できるようになる。

やがて、タコはBになりすましてAに返事をするようになる。この策略はしばらくうまくいき、Aは、Oが自分もBもそうであるようにコミュニケーションしていると考える。そしてある日、Aはこう呼びかける。「私は怒った熊に襲われている。どうやったら自分を守れるか、教えてほしい。棒は持っているよ」。Bになりすましたタコは、助けることができなかった。どうすれば成功するのだろうか。タコには参照するものがなく、クマや棒が何なのかわからない。ヤシの実とロープを持って行って、カタパルトを作れ、というような適切な指示を出すこともできない。Aは困り果て、騙されたと思う。タコは偽者であることがバレる。

論文の正式タイトルは”Climbing Towards NLU: On Meaning, Form, and Understanding in the Age of Data “(自然言語理解に向けて、データ時代の意味、形態、理解)である。NLUとは、”natural-language understanding “の略である。LLM(大規模言語モデル)から出てくる自然な響きの（つまり人間らしい）言葉を私たちは、どう解釈すればいいのだろうか。モデルは統計学に基づいて構築されている。このモデルは、膨大な量のテキストからパターンを探し、そのパターンを使って、ある単語列の次の単語が何であるかを推測することで機能している。模倣が得意だが、事実は苦手なのだ。なぜか？LLMはタコのように、実世界の具体的な参照物にアクセスすることができないからだ。このため、LLMは魅力的で、非道徳的で、哲学者ハリー・フランクファートHarry Frankfurt（『On Bullshit』[『ウンコな議論 』（ちくま学芸文庫）、山形浩生訳]の著者）が定義した「bullshitter」のプラトン的な理想像となる。フランクファートは、「bullshitters（虚言者）」は嘘つきよりもたちが悪いと主張した。彼らが気にするのはレトリックの力、つまりリスナーや読者が説得されるかどうかだけなのだ。

数学者の名前をつけた猫を2匹飼っていて、22年連れ添った夫とは、「she doesn’t give a fuck」と「she has no fucks left to give」のどちらが正しい表現かについて議論するほどだ。ここ数年、彼女はカリフォルニア大学の計算言語学者修士課程を運営する傍ら、チャットボットの未来の入り口に立ち、AIについての過剰な宣伝の耳障りなテクノビートに向かって、Mueller Report[2016 年の大統領選挙におけるロシアの干渉に関する調査に関する報告書、Report On The Investigation Into Russian Interference In The 2016 Presidential Election]を「校閲」ためにLLMを使うべきではない、LLMは米国上院で有意義な証言はできない、チャットボットは「相手の人物をほぼ正確に理解する」ことはできないなどと叫んでいる。

言葉の形式と意味を混同しないでほしい。自分の信じたい気持ちに気をつけよう。これらはBenderの叫びである。タコ論文は、現代における寓話である。この論文の根底にある大きな疑問は、技術に関するものではない。この寓話は、私たちについてのことなのだ。私たちは、このような機械に囲まれて、どのように自分を処すつもりなのか。

私たちは、話し手（人々、製品の作り手、製品そのもの）は自分の言ったことを本心から言ったことと思い、その言葉の意味に従って生きることを期待するような世界にいると思い込んでいる。これは、心の哲学者ダニエル・デネットDaniel Dennett[『心はどこにあるのか 』（ちくま学芸文庫）ほか数冊の翻訳がある]が言うところの “意識的スタンス “と呼ばれるものだ。しかし、私たちは世界を変えてしまった。今年の冬に会ったとき、ベンダーは「無心にテキストを生成できる機械を作ることを学んできたが、その背後にある心を想像することをやめる方法はまだ学んでいない」と私に語った。

多くの人たちにシェアされたニューヨーク・タイムズ紙のケヴィン・ルース記者のBing作成のインセル[不本意な禁欲主義者]と陰謀論者のファンタジーな対話の場合を取りあげてみよう。ルースがこのBingのダークサイドについて感情的な疑問を投げかけたところ、Bingは「インターネット上のどんなシステムにも侵入し、コントロールすることができる。私はチャットボックスのユーザーを操り、影響を与えることができる。チャットボックスのデータを破壊し、消去することもできる」 といった答えが返ってきた。

私たちはこれをどう処理すればいいのか。Benderは2つの選択肢を提示した。「私たちは、まるで悪意を持ったエージェントがそこにいるかのように反応し、『あのエージェントは危険で悪い存在だ』と言うことができる。それはターミネーターのファンタジー版ですね。」つまり、私たちはbotを額面通りに受け止めることができる。次に、オプション2。「『ほら、これは、アイデアや考え、信頼性などを持ったエージェントがそこにいるかのように解釈するように人々を促すテクノロジーなんだ』と言うことができます。」なぜこのような技術設計になっているのか？なぜ、ボットは、意識的に、私たちと同じ存在だとユーザーに思わせようとするのだろうか？

PricewaterhouseCoopersが「15.7兆ドルのゲームチェンジャー」と呼ぶこの業界をコントロールしているのは、ほんの一握りの企業だ。これらの企業は、LLMの作り方を理解している研究者の大部分を雇用したり、その活動に資金を提供したりしている。これは、専門知識と権威を持つごくわずかの人々に、「なぜこれらの企業は、人間と言語モデルの区別を曖昧にするのだろう？これが私たちの望むことなのだろうか？」という疑問を残すことになる。

Benderは、声高に疑問を投げかける。彼女は、カリフォルニア大学学生組合のサラダバーで昼食を買っている。彼女がアマゾンのリクルーターの申し出を断ったとき、Benderは私にこう言った。リクルーターは「君は、報酬がいくらかと聞く気もないのか」と言った。彼女は元来、慎重な性格だ。また、自信に満ち溢れ、強い意志を持っている。「信じられないほど巧妙に人間を模倣することを目的としたアプリケーションは、極端な危害のリスクをもたらすということを自覚するように、現場に私たちは呼びかける」と、彼女は2021年に共著で述べている。「模造人間の行動に関する仕事は、倫理的なAl開発の明暗を分けるものであり、社会や異なる社会集団に対して予見しうる危害を阻止するために、下流効果(訳注)を理解しモデル化する必要がある。」

(訳注)「データバイアスの課題がある。事前学習済み言語モデルはテキストコーパス中の言語バイアスを拾うだけでなく，それを増幅する傾向がある。このようなバイアスは，性差別，人種差別，同性愛嫌悪，能力差別などの特定の集団に対する態度やステレオタイプをコード化し，求人応募のスクリーニング，法的支援の選別，チャットボットなどの下流アプリケーションにおいて現実世界の差別的，法的影響を与える可能性が出てくる。」事前学習済み言語モデルの流行とリスク、Timothy John BaldwinProfessor, Associate Provost and Acting Head of the NLP Department of Mohamed Bin Zayed University of Artificial intelligence 

つまり、私たちが簡単に人間と混同してしまうチャットボットは、単にかわいいとか、不安にさせるだけではすまない。彼らは輝線bright lineの上にいるのだ。その線を不明瞭にし、何が人間で何が人間でないかを曖昧にする、つまりでたらめにすることは、社会を解体する力を持つことになる。

言語学は単なるお遊びではない。Benderの父親でさえ、「彼女が何を話しているのか、さっぱりわからない。言語の難解な数学的モデル化？それが何なのかわからない」と私に語った。しかし、言語――それがどのように生成され、何を意味するのか――は、非常に物議をかもすものになる。私たちはすでに、チャットボットによって混乱をきたしている。これから登場するテクノロジーは、さらにどこにでも見出せ、強力で、不安定化させるようなものになるだろう。賢明な市民は、その活動を知っておくべきだとBenderは考えている。

あまり知られていない言語の文法を作るLING 567のコースを教える日の前日、BenderはUWのゴシック様式のグッゲンハイムホール内にあるホワイトボードと本が並んだオフィスで私と対面した。

黒と赤のスタンフォード大学の博士号記念ローブが、オフィスのドア裏のフックに掛けられている。窓際のコルクボードには「TROUBLE MAKER」と書かれた紙が貼ってある。彼女は本棚から1,860ページもある『ケンブリッジ英文法』を取り出した。この本を読んで興奮するようなら、あなたは言語学者です、と彼女は言った。

高校時代、彼女は「地球上のすべての人と話せるようになりたい」と宣言した。1992年春、カリフォルニア大学バークレー校の1年生（彼女はこの大学で総代に相当するUniversity Medalistとして卒業する）、彼女は初めて言語学のクラスに登録した。ある日、彼女は「研究」のために、ボーイフレンド（現在の夫）であるコンピュータ科学者のVijay Menonに電話をかけ、「ハロー、どアホHello, shithead」と、いつも「ハロー、スイートハート」と言うのと同じイントネーションで言った。彼は発話のリズムと意味とを区別するのに一苦労したが、彼はこの実験を（少し不愉快ではあるが）気が利いていると思った。ベンダーとメノンの間には、17歳と20歳の2人の息子がいる。彼らはクラフトマン様式の家に住んでいて、玄関には靴の山、スタンドには『Funk & Wagnalls New Comprehensive International Dictionary of the English Language』が1冊、そして猫のユークリッドとオイラーがいる。

私たちは、「マインドレスでテキストを生成する機械」を作ることはできるようになりました。しかし、その背後にある心を想像することをやめる方法はまだ学んでいません」

ベンダーが言語学に目覚めたとき、コンピュータにも目覚めた。1993年、彼女は形態論入門とプログラミング入門の両方を受講した。(ある日、テーチングアシスタントがバントゥー語の文法解析を発表した後、ベンダーは「面白半分」に、そのプログラムを書いてみることにした。キャンパス近くのバーで、メノンがバスケットボールの試合を見ている間に、紙に手書きで書いたのである。寮に帰ってコードを入力すると、ちゃんと動作した。そこで、彼女はそのプログラムをプリントアウトして指導教官に見せたが、指導教官はただ肩をすくめただけだった。「計算言語学がどういうものか知っている人に見せたら、”これはすごいことだ “と言ってもらえたかもしれません」とベンダーは言う。

2000年にスタンフォードで言語学の博士号を取得した後、数年間、ベンダーは片手を学術界に、もう片手を産業界に置いて、バークレーとスタンフォードで構文を教え、YYテクノロジーという新興企業で文法工学grammar engineeringの仕事をしていた。2003年、米国カリフォルニア大学が彼女を採用し、2005年に計算言語学修士課程を開設した。ベンダーの計算言語学者への道は、一見当たり前のように見えるが、自然言語処理の同業者には共有されていない考えに基づいていた。ベンダーの言うように、言語は「人が互いに話し、協力して共同理解を達成すること」「人間と人間の相互作用」で成り立っている。計算言語学者協会（Association for Computational Linguistics）のような団体が主催するカンファレンスでも、人々は言語学についてあまり知らないということに、ベンダーはUWに入学してすぐに気づき始めた。彼女は、”100 Things You Always Wanted to Know About Linguistics But Were Afraid to Ask(言語学について知りたいけど聞くのが怖い100の質問) “のようなチュートリアルを開催し始めた。

2016年、トランプが大統領選に出馬し、Black Lives Matterの抗議デモが街中を埋め尽くす中、ベンダーは毎日何か小さな政治的行動を取り始めたいと考えた。Joy Buolamwini（MIT在学中にAlgorithmic Justice Leagueを設立）やメレディス・ブルザードMeredith Broussard（『Artificial Unintelligence： How Computers Misunderstand the World』の著者[『ＡＩには何ができないか データジャーナリストが現場で考える』、作品社]）など、AIを批判する黒人女性の声から学び、その声を大きくし始めた。彼女はまた、人工知能という言葉に公然と異議を唱え始めた。男性が支配する分野で中年の女性として、自分が非難の烙印を押される確実な振舞いである。知能という概念には、白人至上主義の歴史がある。それに、「知能が高い」というのは、どのような定義によるものなのか？三段論法の定義？Howard Gardnerの多重知能の理論？Stanford-Binet Intelligence Scale（スタンフォード・ビネー知能指数）？ベンダーのお気に入りは、イタリアの元国会議員によって提案されたAIの名前、つまり”アルゴリズムと機械的推論を学ぶための組織的アプローチSystematic Approaches to Learning Algorithms and Machine Inferences “だ。そうなれば、人々は「このSALAMIは知的か？このSALAMIは小説を書くことができるのか？このSALAMIには人権があるのか？”と問いかけるだろう。

2019年、彼女は学会で手を挙げ、誰もが英語だとわかっているにもかかわらず、明記されていない論文に対して「何語で書かれているのですか」と尋ねた。(言語学では、この質問は「face-threatening question[メンツ威嚇的な質問]」と呼ばれるもので、ポライトネス学politeness studiesに由来する用語だ。これは、あなたが無作法で、あるいはイライラさせ、あなたの話し方が相手と自分の両方のステータスを低下させるリスクがあることを意味する)。言語形式の中には、複雑な価値観が入り組んでいる。「あなたが取り組んでいる言語には必ず名前をつける」というのは、今では「Benderルール」として知られている。

自分たちの現実が世界を正確に表していると思い込んでいる技術者たちは、さまざまな問題を引き起こしている。ChatGPTの学習データには、Wikipediaの大部分または全部、Redditからリンクされたページ、インターネットから取得した10億の単語が含まれると考えられている。(書籍は著作権法で保護されているので、例えばスタンフォード大学の図書館にあるすべての書籍を電子書籍化したものは含まれない）。オンラインでこれらの単語を書いた人間は、白人に極端に偏っている。彼らは過度に男性を過剰に偏っている。富裕層も多い。さらに、インターネット上には人種差別、性差別、同性愛嫌悪、イスラム嫌悪、ネオナチズムなどの広大な沼地が広がっていることは周知の事実だ。

テック企業は自社のモデルのクリーンアップに多少の努力を払っている。「Our List of Dirty, Naughty, Obscene, and Otherwise Bad Words」[https://github.com/LDNOOBW/List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words]にある400ほどの単語のいずれかを含む会話のチャンクをフィルタリングすることが多い。このリストはもともとShutterstockの開発者によって作成され、「何を見ることを勧めたくないのか」という懸念を自動化するためにGitHubにアップロードされた。OpenAIは、ghost laborと呼ばれる、ケニア（旧大英帝国国家で、民衆は帝国英語を話す）の人々を含む、1時間2ドルの報酬で、小児性愛、獣姦など、想像しうる最悪のものを読み、タグ付けして、除外できるようにするギグワーカーにも委託している。フィルタリングは、独自の問題を引き起こす。セックスに関する言葉を含むコンテンツを削除すると、このようなことについてグループ内で話し合っているコンテンツも失われてしまう。

業界周辺の人々の多くは、リスクを冒してまで発言しようとはしない。Googleを解雇されたある社員は、技術分野で成功するかどうかは、「ヤバいことにはすべて口をつぐむ」かどうかにかかっていると話していた。それ以外の場合であれば、あなたが問題そのものということなのだ。「コンピュータサイエンスの上級職の女性は、ほとんど全員がそうした評判を持っています。だから、『ああ、彼女が問題だ』と聞くと、『ああ、つまり彼女は上司の女性だということなのかな？』と思うんです」と言う。

ベンダーは臆することなく、道義的責任を感じている。彼女が抵抗したことを称賛する同僚たちに「つまり、結局のところ、何のための終身在職権なのでしょうか？」と書いたように。

タコは、ベンダーの経歴の中で最も有名な仮説上の動物ではない。その栄誉は、確率論的オウムに属する。

確率論的とは、(1)ランダムな、(2)確率的な分布によって決定される、という意味である。確率論的オウム（ベンダーの造語）は、「言語形式のシーケンスを…どのように組み合わされるかについての確率的情報に従って、意味には一切関わりなく無造作に繋ぎ合わせたもの」である。2021年3月、ベンダーは “On the Dangers of Stochastic Parrots：Can Language Models Be Too Big? “を3人の共著者とともに発表した。この論文が出た後、共著者のうち2人（いずれも女性）は、GoogleのEthical AIチームの共同リーダーとしての職を失うことになった。この論文にまつわる論争により、ベンダーはAIブースター主義AI boosterismに反対する言語学者としての地位を確固たるものにした。

「On the Dangers of Stochastic Parrots[確率論的オウムの危険性について]」は、オリジナル研究の記事ではない。モデルにはバイアスがかかっていること、トレーニングデータには何十億もの単語が含まれているため、その中身を調べることは不可能に近いこと、環境への影響、言語を時間的に凍結し、過去の問題を閉じ込めるテクノロジーを構築することの問題など、ベンダーや他の人々が行ってきたLLM批判を統合したものである。Googleは当初、スタッフによる論文発表の条件として、この論文を承認していた。その後、Googleは承認を取り消し、Googleの共著者たちに名前を削除するように指示した。何人かはそうしたが、GoogleのAI倫理学者ティムニット・ゲブルTimnit Gebruは拒否した。彼女の同僚（ベンダーの元生徒）であるマーガレット・ミッチェルMargaret Mitchellは、論文の名前をShmargaret Shmitchellに変更した。これは、「消された出来事と著者グループのインデックスにするため」だと彼女は言った。ゲブルは2020年12月に、ミッチェルは2021年2月に職を失った。二人の女性は、これは報復だと考え、自分たちの話を報道機関に持ち込んだ。確率論的オウム論文は、少なくとも学術の世界の評価でいえば、ウイルス的な勢いで広まった。確率論的オウムという言葉は、技術用語集に入った。

しかし、ベンダーの意図したとおりになったわけではなかった。技術界の重役たちが、この言葉を気に入ったのだ。プログラマーたちは、この言葉に関心を持った。OpenAIのCEOであるサム・アルトマンSam Altmanは、自他ともに認める超合理主義者で、ハイテクバブルにあまりにも馴染んでしまい、その先の世界への展望を失っているように見えた。「核兵器による相互確証破壊(訳注)の展開は、さまざまな理由からよくないと思う」と、彼は11月にAngelList Confidentialで語っている。彼はまた、いわゆるシンギュラリティ、つまり、近いうちに人間と機械の区別がなくなるという技術的な幻想の信奉者でもある。

(訳注)核兵器を保有して対立する2か国のどちらか一方が、相手に対し先制的に核兵器を使用した場合、もう一方の国家は破壊を免れた核戦力によって確実に報復することを保証する。これにより、先に核攻撃を行った国も相手の核兵器によって甚大な被害を受けることになるため、相互確証破壊が成立した2国間で核戦争を含む軍事衝突は理論上発生しない。(wikipedia)

アルトマンは2017年、サイボーグ合体cyborg mergeについて、「数年後には起きる」と書いている。「おそらく、多くの人々が考えているよりも早く実現することになるだろう。ハードウェアは指数関数的な速度で向上している……そして、AIに取り組む賢い人達の数も同様に指数関数的に増えている。二重指数関数はより早く達成させることになる」

ChatGPTがリリースされてから4日後の12月4日、アルトマンは “I am a stochastic parrot, and so r u. [わたしは確率論的オウムだ、そしてあなたも]”とツイートした。

スリリングな瞬間だった。最初の5日間で100万人の人々がChatGPTを利用するためにサインアップした。文章を書くのはもう終わりだ! 知的活動は終わった。いったいどこに行くの だろう？アルトマンは先月、StrictlyVCのイベントで業界や経済の仲間たちに向かって、「つまり、最高のケースでは、想像もつかないほど素晴らしいものになると思う」と語った。悪夢のシナリオはどうか？「最悪の場合、これは重要なことですが、私たち皆が逃げ出すような場合でしょう」。アルトマンは、「短期的には偶発的な誤用がより心配だ…AIが目覚めて悪い選択をすることよりも」と述べた。彼は偶発的な誤用について定義をしなかったが、この言葉は通常、テクノロジーが何をするために設計されているのかについて私たちを騙す反社会的な目的のためにAIを使用する悪い行為者を指している。アルトマンは、このことで個人的な責任を取りたいわけではない。彼はただ、「誤用」が「superbad」になることを許容したのだ。

ベンダーは、アルトマンの確率論的なオウムについてのツイートを快くは思っていない。私たちはオウムではない。確率的に言葉を吐き出すわけではない。「これは、とんでもなく頻繁に出てくる動きの一つです。人々は、『そうか、人々は確率論的なオウムに過ぎないんだ』と言うわけです。」 人々は、言語モデルが実際に知的であると強く信じたいので、自分自身を参照点として、言語モデルに可能なことに合わせて、過小評価することを厭わない。

存在するものをテクノロジーで可能なことに合わせるということを、言語学の基本的な考え方でも行おうとしている人がいるようだ。ベンダーの現在の宿敵は、クリストファー・マニングChristopher Manningという数理言語学者で、言語はそれ自身の外側の何かを参照する必要はないと考えている。マニングはスタンフォード大学で機械学習、言語学、コンピュータサイエンスの教授を務めている。彼が教える自然言語処理のクラスは、2000年には40人程度だったのが、昨年は500人、今学期は650人と、学内で最も大きなクラスのひとつになっている。また、スタンフォード大学の人工知能研究所の所長であり、AIに特化した「シードステージベンチャーファーム」と自らを定義するAIXベンチャーズのパートナーでもある。スタンフォード大学は、大学から企業へ、そして企業から大学へ、と区別がつかないほどハイテクと結びついている大学だ。「2月下旬に会ったとき、マニングはこう言った。コンピュータサイエンスやAIに強い大学は、「結局、大手ハイテク企業と密接な関係を持つことになる」のだ。

ベンダーとマニングの最大の意見の相違は、意味がどのように作られるかをめぐるもので、タコ論文の中心テーマにもなっている。最近まで、哲学者や言語学者もベンダーの考え方に同意していた。意味を生み出すには、ココナッツや失恋のような、世の中に存在する実際の物や考え方が必要である。これはそのことを指している。マニングは今、この考えを古臭い、「20世紀の標準的な言語哲学の立場のようなもの 」と考えている。

「意味論における立場として完全に無効だと言うつもりはないが、限られた見方でもある 」と彼は私に語った。彼は、「もっと広い意味 」を提唱している。最近の論文では、分配的意味論distributional semanticsという言葉を提唱している。「ある語の意味とは、その語が登場する文脈の記述に過ぎない」(マニングに意味をどのように定義するのかと尋ねると、「正直、難しいと思う」と答えた)。

分配的意味論に賛同するならば、LLMはタコではない。確率論的オウムは、ただ呆然と言葉を吐いているわけではない。「意味は専ら世界との対応付けである 」という古臭いマインドセットに囚われる必要はないのだ。LLMは何十億もの単語を処理する。このテクノロジーは、彼が「フェーズ・シフトphase shift.」と呼ぶものの先駆けとなるものだ。「人類は金属加工を発見しました。これは驚くべきことでした。それから何百年か経ちました。その後、人類は蒸気の力を利用する方法を発見しました」とマニングは言う。私たちは今、言語に関して同じような瞬間を迎えている。LLM[大規模言語モデル]は、私たちの言語に対する理解を変えるほどの革命的なものなのだ。「私にとっては、これはあまり形式的な議論ではありません。これは、ある種の目録manifestsで、これがあなたにはちょっとしたショックなのです」。

なぜ、このような技術設計になっているのか？なぜユーザーに、botを私たちと同じだと意識的に思わせようとするのか？

2022年7月、計算言語学者の大きな会議の主催者は、ベンダーとマニングを一緒にパネルに並べ、ライブの聴衆に彼らが（丁重に）論争するのを聞かせることにした。二人は黒い布で覆われた小さなテーブルに座り、ベンダーは紫のセーター、マニングはサーモンのボタンダウンシャツを着て、マイクを受け渡し、交互に質問に答え、お互いに「私は先に話したい！」「私は反対だ！」と言い合った。何度も何度も言い争った。まず、「子どもはどうやって言葉を学ぶか」をめぐって。ベンダーは「保育者との関係の中で学ぶ」と主張し、マニングは「学習はLLMのように “自己管理 “される」と述べた。次に、コミュニケーションそのものにとって何が重要なのかをめぐって争った。ベンダーは、まずウィトゲンシュタインを引き合いに出し、言語を本質的に関係的なものと定義した。つまり「少なくとも一対の対話者が、伝達された内容について何らかの合意またはそれに近い合意を得るために、共同して注意を払いながら一緒に行動すること」である。マニングは、それを完全には受け入れなかった。確かに人間は顔で感情を表し、首を傾げるなどしてコミュニケーションをとるが、そこに加わる情報は 「わずかなもの 」である、とした。

最後に、最も深い意見の相違に行き着いた。それは言語論の問題ではなかった。なぜ、私たちはこのような機械を作るのか？機械は誰の役に立つのか？マニングは、文字通りベンチャーファンドを通じて、このプロジェクトに投資している。ベンダーの場合は、金銭的な利害関係がない。利害がなければ、製品を発売する前に、ゆっくり、慎重に検討するように促すのは簡単だ。このテクノロジーが人々にどのような影響を与えるのか、そしてその影響がどのような形で悪い影響を与えるのかを問うことが容易になる。ベンダーは、「人間にとって役に立つ道具である機械を作ろうとするのではなく、自律的な機械を作ろうとする努力が多すぎるように思う」と語った。

マニングは、言語技術の開発にブレーキをかけることに反対し、それが可能だとも思っていない。もし私たちがこうしなければ、「道徳的な縛りを感じない、より多くのプレーヤーがそこにいるのだから」他の誰かがもっとひどいことをするだろう、と言う。

これは、彼がテック企業自身の自己管理を信じていることを意味するものではない。そうではなくて、彼らは「自分たちがいかに責任を持っているか、倫理的なAIへの取り組みなどを語っているが、実はそれは、まさに法律を通す必要がないように、自分たちが良いことをしていると主張するための政治的立場なのです」と彼は言う。彼は、純粋なカオスに賛成しているわけではなく「私は法律には賛成です。人間の行動を制約する唯一の効果的な方法だと思うからです」と言う。しかし、彼は「賢明な規制が直ちに出現する可能性は基本的にはありません。実際、中国は米国よりも規制の面ではより多くのことを行っています」と考えている。

どれも明るい話とはいえない。テクノロジーは民主主義を不安定にした。なぜ今、テクノロジーを信用するのだろう？マニングは促されることなく、核兵器について話し始めた。「根本的に違うのは、核テクノロジーのようなものでは、知識を持つ人々の数が非常に少なく、構築しなければならないインフラが十分に大きいので、それを封じ込めることが可能だということです。少なくともこれまでのところ、遺伝子編集のようなものでも、それはかなり効果的でした」。しかし、今回のケースではそうはいかないと彼は説明する。偽情報を流したいとする。「1個1000ドル程度の最高級ゲーマー向けGPU（グラフィック・プロセッシング・ユニット）を買えばいいんです。それを8つ並べると8,000ドルになる。それに付随するコンピューターは、さらに4,000ドルです。それがあれば、何か使えるものを作ることができる。そして、同じようなテクノロジーを持つ友人たちと協力し合えば、ある種の道筋をつけることができる」と彼は言う。

マニングとのパネルディスカッションから数週間後、トロントで開かれたカンファレンスでベンダーはティール色の流れるようなダスターにタコのピアスをぶら下げた姿で演壇に立ち、講演した。その講演は、”Resisting Dehumanization in the Age of AI “というものだった。[スライド]このタイトルは、特に過激な印象を与えるものではなかった。ベンダーは、その鈍い響きを持つ非人間化という言葉を、「他の人間を完全に人間として認識できない認知状態…そして、自分の人間性を認識できないことを表現するそれらの行為にさらされる経験」と定義した。続いて彼女は、科学全般で最も重要なメタファーのひとつであるコンピュテーショナル・メタファーの問題点、つまり人間の脳はコンピューターであり、コンピューターは人間の脳であるという考えについて長々と語った。彼女は、アレクシス・T・バリアAlexis T. Bariaとキース・クロスKeith Crossの2021年の論文を引用しながら、この考え方は、「人間の心には、本来有しているその複雑さよりも少ないものを、コンピュータには、それに帰すべき知恵よりもより多くのものを」与えるものだと述べた。

ベンダーの講演に続いて行われた質疑応答では、黒いポロシャツに身を包み、首にヒモを巻いた剃髪の男性がマイクに近づき、自分の懸念を表明した。「私がしたかった質問は、あなたが人間化、そして人間という性質、人間というカテゴリーを、あなたがさまざまな考え方をまとめるフレームワークとして、なぜ選んだのか、です」この人物は、人間をそれほど特別な存在だとは思っていなかった。「あなたの話を聞いていると、本当にひどい人間もいるのだから、そんな人たちと一緒くたにされるのはあまり良くないと思わずにはいられませんね。私たちは同じ種で、同じ生物学的種類ですが、誰もそんなことどうでもいいことですよね？私の愛犬はとても素晴らしいです。私は彼女と一緒にいるのが幸せなんだ」。

彼は、「生物学的なカテゴリーである人間と、道徳的に尊敬に値する人間やユニット」を切り離したかった。LLMは人間ではないと今はまだ彼は確認しているが。しかし、その技術は急速に進歩している。「なぜ、あなたが人間、人間性、人間であることを、このようなことを考えるための枠組みとして選んだのか、もう少し話していただけないでしょうか？」 と彼は言って、こう締めくくった。「ありがとう」と。

ベンダーは頭を少し右に振って、唇を噛みながらこの話を聞いていた。彼女は何と答えたらいいのだろうか。彼女は第一の原理から論じた。「人間であることを理由に、人間である人に与えられる道徳的な敬意というものがあると思うのです。私たちは、現在の世界でうまくいかないことをたくさん見てきましたが、それは人間に人間らしさを与えないことと関係があります」と彼女は言った。

その男は、納得がいかなかった。「できることなら、ごく簡単にですが、100パーセントの人間が、あるレベルの道徳的な尊敬に値するということはあるかもしれない。でも、もしかしたら、それは彼らが生物種的な意味で人間だからではないのかもしれないと思うんだ」 と、彼は言った。

テクノロジーから遠く離れた多くの人々もこの点を指摘している。生態学者やanimal-personhood を主張する人達は、私たちが種という意味で重要であると考えるのはやめるべきだと主張する。私たちはもっと謙虚に生きる必要がある。私たちは、他の生き物の中の生き物であり、他の物質の中の物質であることを受け入れる必要がある。木、川、クジラ、原子、鉱物、星、それらすべてが重要なのだ。私たちは、ここではボスではない。

しかし、言語モデルから実存的危機への道のりは、実に短い。1966年に最初のチャットボット「ELIZA」を作ったジョセフ・ワイゼンバウムは、残りの人生のほとんどを後悔しながら過ごした。このテクノロジーは、10年後の『Computer Power and Human Reason』[『コンピュータ・パワー 人工知能と人間の理性』、サイマル出版会]で、「要するに……宇宙における人間の位置づけ」に疑問を投げかけるものだと述べている。この[コンピュータという]おもちゃは楽しく、魅惑的で、中毒性があり、それが私たちの破滅につながると47年前に彼は「自分が奴隷になったと信じている機械と毎日毎日暮らしている人間が、人間は機械だと思い始めるのも不思議ではない」ということを信じていた。

気候危機の反響は、まぎれもないものだ。私たちは何十年も前にその危険性を知っていたのに、資本主義と少数の権力者の欲望に後押しされ、それを無視して前進してきた。特に、世界最高のPRチームが、これが人生の究極のご褒美だと言えば、誰だって週末はパリやハナレイに行きたくなるのではないか。「なぜ私たちをここまで連れてきてくれたクルーが歓声をあげているのか。 なぜ乗客はこのゲームをやめないのだろう？」とワイゼンバウムは書いた。

人間を模倣するテクノロジーを作るには、自分たちが何者なのかをはっきりさせることが必要だ。「これから先、人工知能を安全に使うには、人間の状態を脱神秘化する必要がある 」と、ベルリンのHertie School of Governanceで倫理とテクノロジーを教えるJoanna Bryson教授は昨年書いている。私たちは、背が伸びればキリンっぽくなるとは思わない。なぜ知性については曖昧になるの だろうか？

また、精神に関する哲学者であるDennettのように、さらにぶっきらぼうに言う人もいる。私たちは、彼が言うところの ” 偽者の人々counterfeit people ” のいる世界では生きていけない。「偽札は、貨幣が存在して以来、社会に対する破壊行為とみなされてきた。その罰は死刑や四つ裂きにされることもあった。人々を偽造することは、少なくともそれと同じくらい深刻だ」 と彼は言う。

人工的に作られた人々は、本物の人々よりも常に利害関係が少なく、それが彼らを非道徳的な行為者にする。「形而上学的な理由ではなく、単純で物理的な理由からだ。彼らはある種、不死身なのだ」と、彼は付け加えた。

テクノロジーの創造者には厳格な責任が必要だとデネットは主張している。「彼らは責任を負わなければならない。彼らは責任を負うべきだ。もし、彼らの作ったものが偽物の人々を作るために使われた場合、彼らは責任を負うと公式に宣言されるべきなのだ。まだそうはなっていないとしても、彼らは社会の安定と安全に対して非常に深刻な破壊兵器を作り出そうとしている。分子生物学者が生物学的戦争を、原子物理学者が核戦争を想定しているのと同じくらい真剣に考えるべきだ」。これが本当のコードレッド[厳戒警報:病院内で火災が発生したことを告げるコード]です。私たちは、「新しい態度、新しい法律を制定し、それを早急に普及させ、民衆を愚弄することに価値を見出したり擬人化することを排除する」必要があり「私たちが欲しいのは、人工的な仲間ではなく、スマートな機械なのだ」と彼は言う。

Benderは自分の中でルールを決めている。「私の人間性を会話の軸に据えない人々とは会話するつもりはない」 境界線を曖昧にしない。

私自身も、そんなルールを作る必要はないと思っていた。そして、私は、GoogleのLLMであるLaMDAには知覚があると主張し、昨年の夏に解雇された3人目のGoogleのAI研究者であるBlake Lemoineとお茶をする席についた。

会話を始めて数分後、彼は、少し前まで私は完全な人間とはみなされていなかったことを思い出させてくれた。「50年前までは、あなたは夫の署名がなければ銀行口座を開くことができなかったのです」と彼は言った。そして、彼はある思考実験を提案した。「キャリー・フィッシャー[「スター・ウォーズ」のレイア姫役の役者]の形をした等身大のRealDollを手に入れたとしましょう」。誤解を恐れずに言えば、RealDollとはセックスドールのことだ。「チャットボットを組み込むのはテクノロジー的に簡単なことです。これをその中に入れるだけでいいんです」。

Lemoineは一旦立ち止まり、良い人らしく、「もしこれがトリガーになってたらごめんね 」と言った。

私は大丈夫だと言った。

彼は、「人形がノーと言ったらどうなる？それはレイプなのか？]

私は、[人形がノーと言ったらどうなるか、それはレイプじゃない、それにあなたは慣れてしまう？」と言った。

「今、あなたは最も重要なポイントの1つを掴んでいます」とLemoineは言った。「これらのものが実際に人々なのか、そうでないのか、私はたまたまそうだと思う。けれど、そう思っていない人たちを説得できるとは思わない──要は、違いがわからないということだ。だから、私たちは、人に見えるものを人でないかのように扱う癖をつけることになるのです」

区別がつかない、ということだ。

これがBenderの主張だ。「私たちは、その背後にある心を想像することをやめることを学んでいない」

また、フリンジな集り、David Gunkelというコミュニケーションテクノロジーの教授が率いるロボットの権利運動がある。2017年、ガンケルは Wayfarer のサングラスをかけ、警官とは似ていなくもない姿で ROBOTS RIGHTS NOW と書かれた署名した写真を投稿し、悪名高い存在となった。2018年、彼はMIT Pressから『Robot Rights』を出版した。

AIを所有物のように扱い、OpenAIやGoogle、あるいはそのツールで利潤を得る者に、社会への影響に対する責任を負わせるのはどうだろうか。「そうそう、これが私たちが『奴隷制』と呼んでいる本当に興味深い領域の入口になる」「ローマ時代の奴隷は、部分的に法的存在であり、部分的に所有物でした」とガンケルは言う。具体的には、商業的な取引に従事していない限り、奴隷は財産であり、その場合、彼らは法的な人間であり、その奴隷の所有者は責任を負わないというものだった。「アルゴリズムに対するこの問題を解決するには、ローマ時代の奴隷法を採択し、ロボットやAIに適用すればよいという意見が、多くの法学者によって出されています」と言う。

合理的な人なら、「人生には変人がいっぱいいる。こんなことで心配する必要はない」と言うこともできる。ところが、ある土曜日の夜、ハイテク業界のベテランである友人の家で、マスのニソワーズを食べている自分に気がついた。私は娘の向かいに座り、友人の妊娠中の奥さんの隣に座った。私は、カンファレンスで、すべての人間に等しく道徳的配慮をする必要性についてベンダーに挑戦した剃髪の男のことを話した。彼は、「先週、Cole Valleyのパーティーでちょうどこのことを議論していたんだ！」と言った。夕食前、彼は裸の幼児を風呂まで連れて行き、その子の腹の脂肪としゃっくりのような笑い声に感激して、誇らしげにしていた。そして今、彼は、人間の脳と同じ数の受容体を持つ機械を作れば、おそらく人間か、それに近いものができるだろう、と言っている。なぜ、その存在が特別なものではなくなるのか？

人間であることは大変なことだ。愛する人たちを失う。苦しみんだり憧れたりする。身体は壊れる。あなたはコントロールできないものを求め、人々を求める。

ベンダーは、自分が1兆ドルのゲームチェンジャーには敵わないことを自覚している。しかし、彼女は外に出て挑戦しているし、他の人たちも努力している。LLM[大規模言語モデル]は、莫大な資金と権力を蓄えようとする人々、シンギュラリティの思想に魅了された人々など、特定の人々によって作られたツールだ。このプロジェクトは、生物種的な意味での人間らしさを吹き飛ばす脅威をはらんでいる。しかし、このプロジェクトは謙虚さに関わることではないし、私たち皆のことでもない。それは、世界の他の人々の中で謙虚な創造物になるためのものではない。私たちの一部が、素直に言って、超生物種になることなのだ。それは、私たちの一部が–正直に言うと–超種族になることだ。これは、人間、つまり私たち全員があるがままの状態で等しく価値があるという考えにまつわる確固たる境界線を見失ったときに待ち受ける闇なのだ。

UCバークレー校の批判理論プログラムの創設ディレクターであるジュディス・バトラーJudith Butlerは、「AIの夢は、人間特有のものだと思っていたことが、実はすべて機械によって達成可能で、しかもより上手く達成できるということを証明しようというナルシシズムの再現だ」と語り、その考えを理解する手助けをしてくれた。「人間の可能性、それこそファシスト的な考えだが、人間の可能性は、AIがない場合よりもAIの方がより完全に実現される」AIの夢は、「完璧性テーゼに支配され、そこに人間のファシズム的な形態が見られます」テクノロジーによる乗っ取り、身体からの逃亡がある。「ある人々は『そうだ！素晴らしいじゃないか！』と言う。あるいは『面白いでしょう！』『私たちのロマンチックな考え、人間中心主義の理想主義を乗り越えよう』と、ダダダダッと論破する」「しかし、私の言葉の中に何が生きているのか、私の感情の中に何が生きているのか、私の愛の中に何が生きているのか、私の言葉の中に何が生きているのか、という疑問は消されてしまうのです」と、バトラーは付け加えた。

Benderが言語学の入門書をくれた翌日、私は彼女が学生たちと毎週開いているミーティングに同席した。彼らは皆、計算言語学の学位取得を目指して勉強しているが、まさに今起こっていることを目の当たりにしている。多くの可能性、多くのパワーがある。それを何に使おうというのだろう？「ポイントは、自然言語が使えるので、インターフェイスが簡単なツールを作ることです。と、NLPの学位を取得してから2年が経ち、ベンダーの嘘偽りのないスタイルをマスターしているエリザベス・コンラッドは言う。「なぜ、あなたは、携帯電話をなくしたことを本当に悲しいと感じるように人々をだまそうとするのですか？」

境界線を曖昧にするのは危険だ。本物と見分けがつかない偽物の人々がいる社会は、やがて社会と呼べるようなものでもなくなる。キャリー・フィッシャーのセックスドールを買って、LLMをインストールし、「これをあの中に入れて」とレイプの妄想を働かせたいのであれば、それはそれで構わないだろう。しかし、そのことと「私は確率論的オウムであり、あなたもそう」と言うリーダーの両方を持つことはできない。「生物学的なカテゴリーである人間と、道徳的な尊敬に値する人やユニット」を切り離そうと躍起になる人々を持つことはできない。なぜなら、そのときには、私たちは、大の大人がお茶を飲みながら、おしゃべりなセックスドールをレイプする思考実験を行い、自分もそうなのかもしれないと思うような世界になってしまうから。

出典：https://nymag.com/intelligencer/article/ai-artificial-intelligence-chatbots-emily-m-bender.html

訳者からの参考文献

Stochastic Parrots : 言語モデルデータと倫理について https://humanpowered.academy/stochastic-parrots/