Howdy! How can we help you?
確率論的オウムの危険性について：言語モデルは大きすぎることがあるのか？
(訳者前書き)生成AIの是非をめぐる議論のなかで多くの論文などが発表されているが、この論文は2021年に公表されたやや古いものに属するが、批判的なAI論としては、今ではある種の古典的な必読文献ともなっている。「確率論的オウム」というユニークな言い回しは、現在でもよく引き合いに出されて議論されている。オウムは人間の言葉を真似る。同様にAIも人間の言葉を真似る。では、オウムは、人間の言葉を、人間が通常言葉について「理解」するように、理解しているのだろうか。AIについても同様の疑問がなされてもいいはずだが、多くの人々、とりわけもっぱらAIを便利に日常生活で使う人々は、AIが吐き出す「言葉」には、この言葉の表現が指し示す「意味」や「意図」などが伴っていると直感的に感じてしまう。あまりにも人間の言葉遣いにそっくりだからだ。しかし、AIの表現には「意味」や「意図」は伴わない。膨大な学習データをベースにして、次にくるであろう言葉を確率として計算して示すだけだ。ここに訳出した論文で著者たちは、この仕組みを支える膨大な学習データに含まれる差別や偏見をAIが(拡大)再生産してしまうこと、そしてこの再生産に人間の側が気づかないか、あるいは気づいたとしても肯定的に受け入れてしまうことなど、多くの構造的な問題があることを指摘している。
私はコンピュータ科学やAIの専門家ではない。他方でAIを利用する圧倒的に多くの人々もまたこうした分野の専門家ではないし、AIを開発する企業の当事者でもない。科学や技術をめぐる難解な議論や理論を目にして、たじろぐのは私も同様である。しかし、コミュニケーションの権利は、これを支える技術が理解可能かどうかによって左右されるべきものではない。たとえ理解を越える事柄であったとしても、そのことが私たちの権利を脆弱にしたり侵害するような事を容認すべきではないだろう。他方で、専門家たちは、もっぱら専門家や企業の当事者だけが理解できるような議論に終始すべきではなく、技術が影響(とりわけ悪影響)をもたらすであろう人々に対しても、情報公開と説明責任を負う必要がある。ここに訳出した論文は専門性をもつが、同時に一般の読者にも理解可能な内容になっている。もちろん易しい内容ではない。著者たちの主張の理論的な裏付けの妥当性を検証しようとすれば、この分野を専門とするだけの時間と知識の蓄積とデータへのアクセス権限が必要になるだろう。私もまた、そうした検証を経て本論文の妥当性を確認できているわけではない。しかし、そうであっても、この論文の重要性の核心は変わらない。
AIの言語は、人間の言語が表現と意味や意図とが不可分一体となっている構造を機械的に切り離すことで、意味や意図をめぐる極めてやっかいな人間の表現行為の最も核心的な性格から、表現のスタイルだけを切り取ったものだ。他方で人間の意識は、こうした知覚可能な表現に接することを入口にして、構築される。この人間の言葉の性格を逆手にとって、表現にあたかも何らかの意図や意識が伴うかのような錯覚を与えるトリックをAIの開発者たちは実現した。これはある種のAIフェティシズムである。本論文は、このAIフェティシズムが差別や偏見など私たちの基本的人権を脆弱にする傾向に拍車をかける危険性を指摘している。(AIフェティシズムという言いまわしは私のものであり、著者たちは用いていない)
AIの技術開発を支えている背景よりも、AIを便利に使うことにもっぱら関心を寄せている(寄せざるをえない)人々、とりわけ社会運動や市民運動の当事者が、運動の必要や利便性からAIを活用することを選択することで、運動の効率性を維持しようとすることに関心をもつ(もたざるをえない)人々には、ぜひこの論文を読んでほしいと思う。私もまたAIを全く使わないわけではない。しかし、この論文や少し前に訳出した「TESCREALバンドル：優生学と汎用人工知能によるユートピアの約束」によって、わたしのAIへの疑問が明らかにより深まった。社会変革を真剣に模索する多くのアクティビストにはぜひ読んでいただければと思います。文中の専門用語の日本語訳はわたしの限界もあり、十分には定訳などを調べきれていません。訳注が必要な用語もあるが、原文のままになっている箇所が多い。今後改訂できればと思います。(としまる)
確率論的オウムの危険性について：言語モデルは大きすぎることがあるのか？
Table of Contents
Emily M. Bender(※) ebender@uw.edu University of Washington Seattle, WA, USA
Timnit Gebru∗ timnit@blackinai.org Black in AI Palo Alto, CA, USA
Angelina McMillan-Major aymm@uw.edu University of Washington Seattle, WA, USA
Shmargaret Shmitchell shmargaret.shmitchell@gmail.com The Aether
※ Joint first authors
This work is licensed under a Creative Commons Attribution International 4.0 License. FAccT ’21, March 3–10, 2021, Virtual Event, Canada ACM ISBN 978-1-4503-8309-7/21/03. https://doi.org/10.1145/3442188.3445922
要旨
過去3年間の自然言語処理（NLP）分野の研究は、特に英語を対象とした、これまで以上に大規模な言語モデルの開発と実用化を特徴としてきた。BERTやその派生モデル、GPT-2/3、そして最近ではSwitch-Cなどが、アーキテクチャの革新と規模の拡大の両面を通じて、可能性の限界を押し広げてきた。 研究者たちは、これらの事前学習済みモデルと、特定のタスク向けに微調整を行う手法を用いることで、英語向けの特定ベンチマークにおけるリーダーボードで測定される幅広いタスクにおいて、最先端技術を更新してきた。本論文では、私たちはこの流れから一歩引いて、次のように問う。「どれくらいの規模が『大きすぎる』のか？この技術にはどのようなリスクが伴い、それらのリスクを軽減するためにはどのような道筋があるのだろうか？」
私たちは、環境的・財政的コストを最優先に考慮すること、ウェブ上のあらゆるデータを無差別に取り込むのではなく、データセットのキュレーションと綿密な文書化にリソースを投入すること、計画されたアプローチが研究開発目標にどのように適合し、ステークホルダーの価値観をどのように支えるかを評価する開発前の検討を行うこと、そして、単に言語モデルを巨大化させること以外の研究の方向性を奨励することなど、いくつかの提言を行う。
CCS CONCEPTS
* 計算方法論 → 自然言語処理。 ACM参照形式： Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. 2021.On the Dangers of Stochastic Parrots: Can Language
Models Be Too Big? 「確率的オウムの危険性について：言語モデルは大きすぎることがあるのか？」. Conference on Fairness, Accountability, and Trans-
parency (FAccT ’21)『公平性、説明責任、透明性に関する会議（FAccT ’21）』所収、2021年3月3日～10日、オンライン開催、カナダ。ACM、ニューヨーク州ニューヨーク、米国、14ページ。https://doi.org/10.1145/3442188.3445922
1. はじめに
自然言語処理（NLP）における最大のトレンドの一つは、パラメータ数や学習データの規模で測られる言語モデル（LM）の規模が拡大し続けていることだ。2018年以降だけでも、BERTとその派生モデル [ 39 , 70 , 74 , 113 , 146 ]、GPT-2 [106]、T-NLG [112]、GPT-3 [25]、そしてごく最近のSwitch-C [43]といったモデルが登場しており、各機関はより大規模なLMの開発を競い合っているように見える。大規模言語モデル（LM）の特性や、その規模に伴う変化を調査することには科学的な意義があり、大規模LMは様々なタスクにおいて性能の向上を示している（§2）が、私たちは、その開発に伴う潜在的なリスクや、これらのリスクを軽減するための戦略について、十分な検討がなされているだろうか、と問う。
まず、環境リスクについて考察する。ディープラーニングシステムの環境的・経済的コストを概説した一連の最近の研究 [ 129 ] を踏まえ、私たちは研究コミュニティに対し、これらの影響を優先的に考慮するよう促す。
その一つの方法は、コストを報告し、消費するリソースの量に基づいて研究を評価することである[ 57]。§3で私たちが概説するように、これらのモデルの環境的・財政的コストが増大することは、大規模LMによる進歩の恩恵を最も受けにくくそのリソース消費による環境への悪影響を最も受けやすい周縁化されたコミュニティを二重に苦しめることになる。私たちが議論している規模（§2で概説）においては、まず環境コストを考慮すべきである。
環境への影響がモデルの規模に比例するように、訓練データの内容を理解することの難しさも同様に比例する。§4では、インターネット上のテキストに基づく大規模なデータセットが、覇権的視点を過大に反映し、周縁化された集団に潜在的に害を及ぼすバイアスを内包していることについて論じる。ますます大規模なデータセットを収集するにつれ、ドキュメンテーション・デットを招くリスクが高まる。
私たちは、プロジェクトの初期段階でキュレーションとドキュメンテーションの予算を確保し、十分にドキュメント化できる規模のデータセットのみを作成することで、これらのリスクを軽減することを推奨する。
BenderとKoller [ 14 ] が論じているように、LMの限界を理解し、その成果を文脈に照らして捉えることが重要だ。これは、これらのLMの能力に関して一般市民や研究者自身を誤解させる恐れのある過度な期待を和らげるだけでなく、必ずしもより大規模なLMに依存しない新たな研究の方向性を促す可能性もある。第5節で論じるように、LMは自然言語理解（NLU）を行っておらず、言語形式linguistic formを操作することでアプローチ可能なタスクにおいてのみ成果を挙げている[14]。リーダーボード上の最先端の結果に焦点を当てるだけにとどまり、それが達成されるメカニズムに対する深い理解を促さなければ、[21, 93]で示されているように誤解を招く結果をもたらす恐れがあり、また、計り知れない量の訓練データを使用することなく自然言語理解に向けた長期的な進歩を促進する取り組みから研究資源を引き離すことになりかねない。
さらに、人間の対話者が意味のない場所に意味を付与してしまう傾向は、NLP研究者や一般大衆の両方を誤導し、合成テキストを意味のあるものと受け取らせてしまう恐れがある。これに加え、LMが訓練データに含まれる微妙な偏見や露骨な虐待的な言語パターンの両方を拾い上げる能力と合わさることにより、合成言語とのやり取りを通じて、軽蔑的な言葉に遭遇したり、強化された人種差別的、性差別的、障害者差別的、過激主義的、あるいはその他の有害なイデオロギーを再現する他者による差別を経験したりするなど、危害が生じるリスクにつながる。私たちは§6でこれらの潜在的な危害について検討し、§7で今後の可能性のある道筋を考察する。
私たちは、言語技術の性能向上の主たる原動力として、ますます大規模化するLMに依存することのリスクについて批判的に概観することで、言語技術の進歩による恩恵を享受しつつ、こうしたリスクの一部を回避するアプローチへと取り組みを再配分することが促進されることを期待する。
2. 背景
[14]と同様に、私たちは「言語モデル（LM）」という用語を、文字列予測タスクで学習されたシステムを指すものと定義する。すなわち、先行する文脈、あるいは（双方向およびマスク付きLMの場合）周囲の文脈に基づいて、トークン（文字、単語、または文字列）の出現確率を予測するシステムである。このようなシステムは教師なし学習型であり、実用化される際にはテキストを入力として受け取り、通常はスコアや文字列の予測を出力する。
1949年にシャノンによって最初に提案された[117]が、最も初期に実装されたLMの一部は1980年代初頭にさかのぼり、自動音声認識（ASR）、機械翻訳（MT）、文書分類などのシステムの構成要素として用いられていた[111]。本節では、近年の言語モデリングの一般的な動向について簡潔に概説する。事前学習済み言語モデルに関するより詳細な調査については、[105]を参照のこと。
ニューラルモデルが登場する以前、n-gramモデルも大量のデータを使用していた[20, 87]。ASRに加え、これらの大規模な英語n-gramモデルは、直接的な翻訳例がはるかに少ない別の翻訳元言語からの機械翻訳を背景として開発された。例えば、[20]では、合計1.8Tのn-gramからなる英語用n-gramモデルを開発し、トレーニングデータが13Mトークンから増加するにつれて、1797件のアラビア語翻訳のテストセットにおけるBLEUスコアが着実に向上した点を指摘している。
次の大きな進展は、他の（教師あり）NLPタスクにおいて、単語の分布の事前学習済み表現（語彙埋め込みと呼ばれる）を利用する方向への移行であった。これらの単語ベクトルは、word2vec [ 85 ] や GloVe [ 98 ] といったシステム、そして後に context2vec [ 82 ]やELMo [ 99 ]といったLSTMモデルから得られ、質問応答、含意関係認識textual entailment、意味役割付与semantic role labeling（SRL）、同一指示解決coreference resolution、固有表現認識named entity recognition（NER）、感情分析において最先端の性能を支えた。当初は英語で、その後他の言語でも同様の成果が得られた。語彙埋め込みの学習には（比較的）大量のデータが必要であったが、それによって、様々な教師ありタスクの学習に必要なラベル付きデータの量が削減された。例えば、[ 99 ] では、ELMo を用いて学習させたモデルは、ELMo を使用しないモデルと比較して、SRL で同等の結果を達成するために必要な学習データの量を削減できたことが示された。その一例として、ELMo を用いて学習させたモデルは 10 エポックで開発 F1 スコアの最大値に達したのに対し、ELMo を使用しないモデルでは 486 エポックを要した。
| 年 | モデル | パラメーターの# | データセットのサイズ |
|---|---|---|---|
| 2019 | BERT[39] | 3.4E+08 | 16GB |
| 2019 | DistlBERT [113] | 6.60E+07 | 16GB |
| 2019 | ALBERT [70] | 2.23E+08 | 16GB |
| 2019 | XLNet (Large) [150] | 3.40E+08 | 126GB |
| 2020 | ERNIE-Gen (Large) [145] | 3.40E+08 | 16GB |
| 2019 | RoBERTa (Large) [74] | 3.55E+08 | 161GB |
| 2019 | MegatronLM [122] | 8.30E+09 | 174GB |
| 2020 | T5-11B [107] | 1.10E+10 | 745GB |
| 2020 | T-NLG [112] | 1.70E+10 | 174GB |
| 2020 | GPT-3 [25] | 1.75E+11 | 570GB |
| 2020 | GShard [73] | 6.00E+11 | – |
| 2021 | Switch-C [43] | 1.57E+12 | 745GB |
Table 1: Overview of recent large language models
さらに、このモデルは、ベースラインモデルが訓練データの10％で達成したのと同じF1スコアを、データの1％だけで達成した。しかし、LSTMの場合、モデルパラメータ数を増やしても顕著な性能向上は得られなかった[例：82]。
一方、トランスフォーマーモデルは、より大規模なアーキテクチャや大量のデータを活用することで、継続的に性能向上を図ることができた。特にDevlinら[39]は、大規模なデータセットでの学習と特定のタスクに向けた微調整を行うことで、モデルのハイパーパラメータを増やすにつれて、英語を対象としたGLUEタスク[138]における結果が確実に向上することを指摘した。当初は中国語の言語モデルとして開発されたERNIEファミリー[130, 131, 145]は、ERNIE-Genを生み出した。ERNIE-Genもオリジナルの（英語）BERTデータセットで学習されており、超大規模言語モデルの仲間入りを果たした。NVIDIAは、83億のパラメータを持ち、英語版ウィキペディア、OpenWebText、RealNews、CC-Storiesの各データセット [122] から収集した174GBのテキストを用いて学習されたいわゆるMegatronLMをリリースした。同じデータセットで学習させたMicrosoftは、170億パラメータを持つLM「T-NLG」1をリリースした。OpenAIのGPT-3 [ 25 ] およびGoogleのGShard [73 ] とSwitch-C [ 43 ] は、それぞれ1,750億、6,000億、1.6兆パラメータという規模で、大規模LMの定義をパラメータ数において桁違いに拡大させた。表1は、これらの言語モデルの一部について、学習データ量とパラメータ数をまとめたものである。「Colossal Clean Crawled Corpus」[107]や「Pile」[51]といったデータセットを通じて、ウェブから収集されるテキスト量がますます増加していることから、性能の向上と相関する限り、大規模な言語モデルがさらに増え続けるというこの傾向は今後も続くと予想される。
これらのモデルの多くは、mBERT [39] や mT5 [148] のような多言語版を持つか、あるいは GPT-3 のように、訓練データの 7% が英語以外である [25] など、ある程度の多言語データを用いて訓練されている。これらの多言語モデルが言語間で示す性能は、現在活発に研究されている分野である。WuとDrezde [144] は、mBERTが訓練データに含まれる全104言語で均一に良好な性能を発揮するわけではないものの、リソースの乏しい4つの言語については、同程度のデータ量で訓練された単一言語モデルよりも、NER、POSタグ付け、依存構文解析において優れた性能を示したことを明らかにした。一方、[95]では、より具体的なアーキテクチャ上の配慮や追加の単一言語データを用いて開発された単一言語BERTモデルを調査し、29のタスクにおいて、それらが概してmBERTを上回る性能を示していることが判明した。いずれにせよ、これらのモデルは[65]が指摘した包含の問題には対処していない。同論文では、10億人以上の人々が使用する世界の言語の90％以上が、現在、言語技術の面でほとんど、あるいは全くサポートされていないと述べられている。
モデルがデータからどのような情報を保持するかを探る研究と並行して、知識の抽出knowledge distillation [26, 58]、量子化 [118, 153]、因数分解された埋め込みパラメータ化factorized embedding parameterizationおよび層間パラメータ共有cross-layer parameter sharing [70]、漸進的なモジュール置換progressive module replacing [146] といった様々な手法を用いて、これらのモデルのサイズを縮小する傾向が見られる。Rogersら[110]は、DistilBERT[113]やALBERT[70]など、これらの手法を用いてBERTから派生したモデルについて包括的な比較を行っている。これらのモデルは、サイズがはるかに小さいにもかかわらず、元のBERTモデルの性能を維持し、場合によってはそれを上回っているが、モデルを保持し、そのサイズを縮小するためには、結局のところ依然として大量のデータと、相当な処理能力およびストレージ容量に依存している。
私たちは、n-gram言語モデルから、ニューラル言語モデルで蒸留された単語ベクトル、そして事前学習済みTransformer言語モデルへの移行に伴い、それらが有用とされるタスクの種類も拡大・変化してきたことに注目する。n-gram言語モデルは、当初、例えば音響モデルや翻訳モデルの出力から最適なものを選択する際に一般的に用いられていた。LSTMに由来するワードベクトルは、ラベル付けや分類を伴う様々なNLPタスクにおいて、（語彙の集合であるバッグ・オブ・ワーズの特徴量の代わりに）単語をより効果的に表現するものとしてすぐに普及した。そして、事前学習済みのトランスフォーマーモデルは、ごく少量のデータセット（わずかな例few-shotを用いた学習、1例のみの学習、あるいはゼロショット学習）で再学習を行うことで、要約や質問応答など、一見すると意味を操作するようなタスクを実行できるようになる。とはいえ、これらすべてのシステムは、上述した意味でのLM、すなわち単語（あるいは字符や文）の列を予測するように訓練されたシステムであるという特性を共有している。違いは、活用する訓練データセットの規模と、影響を及ぼし得る範囲にある。これら2つの点で規模を拡大することにより、現代の超大規模LMは新たな種類のリスクを招くことになり、これについては次の節で取り上げる。
3. 環境コストと財務コスト
Strubellらは最近、モデル学習および開発コストをドル単位でベンチマークし、CO₂排出量を推定した[129]。一般の人1人あたりの年間CO₂排出量は推定5tとされるが2、著者らはニューラルアーキテクチャ検索を用いてTransformer（big）モデル[136]を学習させ、その学習プロセスで284tのCO₂が排出されたと推定した。GPU上で単一のBERTベースモデル（ハイパーパラメータ調整なし）を学習させるには、アメリカ横断の航空便1便分に相当するエネルギーが必要であると推定された。
このエネルギーの一部は再生可能エネルギー源に由来するか、あるいはクラウドコンピューティング企業がカーボンクレジットによるオフセットを利用しているものの、著者らは、クラウドコンピューティングプロバイダーのエネルギーの大部分は再生可能エネルギー源に由来しておらず、世界の多くのエネルギー源はカーボンニュートラルではないと指摘している。さらに、再生可能エネルギー源は依然として環境への負荷が大きい3上、計算要件が増大するデータセンターは、グリーンエネルギーの他の潜在的な用途を奪っている。4このことから、エネルギー効率の高いモデルアーキテクチャと学習パラダイムの必要性が浮き彫りになっている。
Strubellらはまた、これらのモデルのコストと精度向上の効果を比較検討している。大規模言語モデル（LM）によって性能向上がもたらされた機械翻訳タスクにおいて、彼らは、英語からドイツ語への翻訳でニューラルアーキテクチャ検索を用いてBLEUスコアを0.1ポイント向上させるごとに、二酸化炭素排出量に加え、15万ドルの計算コストの増加が生じると推定している。NLP研究へのより公平なアクセスを促進し、カーボンフットプリントを削減するため、著者らは、公開されたモデルが下流用途向けに再学習されることを想定している場合、学習時間とハイパーパラメータに対する感度sensitivityを報告するよう推奨している。また、研究者への公平なアクセスを確保するため、政府に対し、コンピューティングクラウドへの投資を強く求めている。
SustainNLPワークショップ5などのイニシアチブは、その後、計算効率の高いハードウェアやアルゴリズムを優先するという目標を掲げている。Schwartzら[115]もまた、グリーンケミストリーやサステナブル・コンピューティングといった他の環境に配慮した科学技術の発展と同様に、グリーンAIの開発を求めている。[5]に示されているように、（NLPやその他のアプリケーション向けの）最大規模の深層学習モデルの訓練に費やされる計算量は、6年間で30万倍に増加しており、その増加ペースはムーアの法則をはるかに上回っている。グリーンAIを推進するため、Schwartzらは、評価指標として効率性を重視すべきだと主張している。また、ACL 2018、NeurIPS 2018、CVPR 2019からサンプリングした論文のほとんどが、この分野への主な貢献として精度の向上のみを掲げており、効率性の測定を主な貢献として焦点を当てたものは一つもなかったことを指摘して、その必要性を示している。それ以来、[57, 75]などの研究では、研究者がエネルギー使用量をベンチマークするためのオンラインツールが公開されている。彼らの提言には、炭素排出量に配慮した地域で実験を行うこと、エネルギーおよび炭素排出量の指標を継続的かつ一貫して報告すること、そしてエネルギー消費量の多いモデルを導入する前にエネルギーと性能のトレードオフを検討することが含まれる。こうした文書化や技術的改善の要請に加え、BiettiとVatanparastは、データ駆動型システムが環境に与える悪影響を最小限に抑えた未来を築くために、社会的・政治的な関与が必要であることを強調している[16]。
[129]では研究環境における学習プロセスのベンチマークが行われているが、多くの言語モデルは産業分野やその他の環境で導入されており、長期的には推論コストが学習コストを大幅に上回る可能性がある。このようなシナリオでは、たとえ学習コストが高くても、推論時のエネルギーコストが低いモデルを導入する方が適切かもしれない。ベンチマークツールに加え、特定のアプリケーションへのLM導入に伴うコスト増加を推定し、代替となるNLP手法と比較検討する研究は、トレードオフを理解する上で重要となるだろう。
私たちが言語技術のリスク・ベネフィット分析を行う際、リスクと便益が同じ人々に帰属するわけではないため、それらがどのように分配されるかを念頭に置かなければならない。一方で、気候変動の悪影響が、世界で最も周縁化されたコミュニティに真っ先に及んでいることは、環境人種差別に関する文献で十分に立証されている[ 1, 27 ]。6 例えば、モルディブの人々（2100年までに水没する可能性が高い[6]）や、スーダンで甚大な洪水の影響を受けた80万人7に対し、ディベヒ語やスーダン・アラビア語向けの同様の大規模モデルが開発されていないにもかかわらず、ますます大規模化する英語LLMの学習や導入に伴う環境的代償を負担するよう求めることは、公平あるいは公正と言えるだろうか？8
また、一部の言語技術は真に周縁化されたコミュニティの利益のために設計されているものの［17、101］、ほとんどの言語技術は、社会においてすでに最も特権的な立場にある人々のニーズに応えるために構築されている。例えば、Google HomeやAmazon Alexa、あるいはSiriが搭載されたAppleデバイスを購入する経済的余裕があり、かつ、それらを扱う準備ができて様々な言語を流暢に話せるのは、いったい誰なのかを考えてみてほしい。さらに、大規模言語モデル（LM）が覇権的偏見hegemonic biasesを組み込み、それを強化する場合（§§4および6参照）、その結果生じる被害は、豊かな国々においてさえ環境レイシズム（environmental racism）を最も経験しやすい立場にある周縁化された人々に降りかかる可能性が最も高い[10, 104]。
これらのモデルが開発されているのは、世界中で前例のない環境変化が目の当たりにされている時代である。気候変動による降雨パターンの変化が引き起こしたモンスーンがインドで800万人以上に影響を与えた事例9から、オーストラリアで記録上最悪の火災シーズンにより、30億匹近くの動物と少なくとも400人の人々が死亡または避難を余儀なくされた事例10に至るまで、気候変動の影響は毎年新たな記録を更新し続けている。研究者たちは、環境への悪影響と資源への不平等なアクセスを軽減するために、エネルギー効率とコストを優先すべき時期をすでに過ぎている。これらはいずれも、すでに周縁化された立場にある人々には不釣り合いな影響を及ぼしている。
4. 計り知れない量の学習データ
ウェブ上で利用可能なデータの規模の大きさにより、深層学習モデルは自然言語処理（NLP）やコンピュータビジョン分野の特定のベンチマークにおいて高い精度を達成できるようになった。しかし、これらの応用分野のいずれにおいても、トレーニングデータには問題となる特性があることが示されており [ 18 , 38 , 42 , 47 , 61 ]、その結果、モデルは性別、人種、エスニシティ、障害の有無に沿った固定観念や蔑視的な連想を内包することになる [ 11 , 12, 69 , 69 , 132, 132, 157 ]。本節では、大規模でキュレーションされていないインターネットベースのデータセットが、いかにして支配的／覇権的見解を反映し、それが周縁に置かれた人々をさらに傷つけているかについて論じ、データセットのキュレーションおよび文書化の実践に向けて、相当なリソースを割り当てることを推奨する。
4.1. 規模の大きさは多様性を保証しない
インターネットは広大で多様な仮想空間であり、それゆえ、Common Crawl（「8年間にわたるウェブクローリングで収集されたペタバイト規模のデータ」11、そのフィルタリング版がGPT-3の学習データに含まれている）のような非常に大規模なデータセットは、必然的に多様な人々が世界を捉える方法を広く代表しているに違いないと想像しがちだ。しかし、詳しく検討してみると、私たちがインターネットへの参加、クローリング手法を通じて収集される議論、そして最終的にクローリングされたデータがフィルタリングされた後に含まれる可能性のあるテキストを狭いものにしてしまう要因がいくつかあることがわかる。いずれの場合も、覇権的視点に固執しやすい人々の人声が、より多く残される傾向にある。米国および英国の英語の場合、これは、白人至上主義や女性蔑視、年齢差別などの見解が学習データにおいて過度に代表されていることを意味する。それらは一般人口における割合を上回るだけでなく、これらのデータセットで学習されたモデルが、偏見や危害をさらに増幅させることにもつながる。
まず、これらのインターネット上のテキスト収集に誰が寄与して いるかという点から見てみると、インターネットへのアクセス自体が均等に分布しておらず、その結果、インターネットデータには若年層や先進国のユーザーが過大に反映されていることがわかる [100, 143]。12 しかし、問題となっているのはインターネット全体そのものではなく、むしろその特定のサブサンプルである。例えば、GPT-2の学習データはRedditからの外部リンクをスクレイピングして収集されたものだが、ピュー・インターネット・リサーチの2016年の調査によると、米国のRedditユーザーの67％が男性であり、64％が18歳から29歳であることが明らかになっている。13同様に、ウィキペディアの熱心な参加者を対象とした最近の調査では、女性や少女の割合はわずか8.8～15％にとどまっている[9]。
さらに、Reddit、Twitter、Wikipediaのようなユーザー生成コンテンツサイトは、誰にでも開かれておりアクセスしやすいと謳っているものの、モデレーションの慣行を含む構造的な要因により、周縁化された人々にとっては居心地の悪い場所となっている。ジョーンズ[64]は（デジタルエスノグラフィの手法[63]を用いて）、Twitter上で殺害予告を受けた人々に対してアカウント停止処分が下される一方で、殺害予告を発したアカウントは存続し続けているという複数の事例を報告して いる。彼女はさらに、Twitter上でのハラスメントは、「家庭内暴力の被害者、セックスワーカー、トランスジェンダー、クィア、移民、（医療提供者による）患者、神経多様性を持つ人々[訳注：発達障害や学習障害、自閉スペクトラム症、ADHD（注意欠如多動症）、ディスレクシア（読字障害）など]、そして外見上または言語的に障害が明らかな人々など、重複する幅広いグループ」が経験していると報告している。その結果、限られたサブグループのみが容易にデータを追加し続け、自身の考えを共有し、自らの世界観を包含するプラットフォームを構築できるようになっている。この体系的なパターンは、ひいてはインターネット上のコミュニケーションにおける多様性と包摂性を悪化させ、過小に代表されている集団からのデータの影響力を弱めるフィードバックループを生み出している。
たとえ主流のサイトで居心地の悪さを感じる集団が、別のコミュニケーションの場を設けたとしても、それらが言語モデルの学習データに組み込まれる可能性は低い。例えば、米国や英国の高齢者を考えてみよう。Lazarらは、彼らがブログを通じて、個人としても集団としても、特に年齢差別反対の枠組みを明確に表現していることを論じている[ 71 ]。一部の高齢者は、デリケートな話題を議論する際、より人気のあるソーシャルメディアサイトよりもブログを好む[ 24]。これらのフォーラムには、年齢差別とは何か、そしてその影響について、充実した議論が交わされている。しかし、Lazarらが記述するようなブログコミュニティは、被リンクやリンク先が多い他のブログに比べて、発見されにくい傾向にある。
最後に、データセットをフィルタリングする現在の実践は、周縁化されたアイデンティティを持つ人々の人声をさらに弱める可能性がある。GPT-3の学習データセットは、Common Crawlデータセットのフィルタリング版であった。これは、GPT-2の学習データで使用された文書、すなわちReddit [25] からリンクされている文書に加え、ウィキペディアや書籍のコレクションに最も類似した文書を選別する分類器を訓練することで作成された。これは、先行研究で「理解不能」と特徴づけられた文書をフィルタリングするのに有効であったと報告されているが [134]、この手法によって他に何が除外されたかは測定されておらず、したがって不明である。[43]で1兆パラメータの言語モデルを学習するために使用されたColossal Clean Crawled Corpus [107]は、とりわけ、約400語からなる「卑猥、不謹慎、猥褻、またはその他不適切な言葉」のリストに含まれる単語のいずれかを含むページをすべて除外することで浄化されている [p.6]。14 このリストの圧倒的多数は性に関連する単語であり、人種差別的な蔑称や白人至上主義に関連する単語（例：卍、ホワイト・パワー）が少数含まれている。ポルノを含む文書（およびそのようなサイトの言語にコード化された関連する問題のあるステレオタイプ [125]）や特定の種類のヘイトスピーチを除去する上で有効である可能性はあるが、このアプローチは、「トゥインクtwink（ゲイの若い男性に対する蔑称）」といった言葉を排除することで、LGBTQの人々によって、そして彼らのために構築されたオンライン空間の影響力を間違いなく弱めてしまうだろう。15周縁化された集団の言説をフィルタリングして排除してしまうと、蔑称を再定義したり、周縁化されたアイデンティティを肯定的な光で描写したりするトレーニングデータを提供できなくなってしまう。
したがって、インターネット上のフォーラムに初めて参加することから、そこで継続的に関与すること、そしてトレーニングデータの収集、最終的にフィルタリングに至るまでの各段階において、現在の実践は覇権的視点を優先させている。大量のウェブテキストを「全」人類の「代表」として受け入れることで、私たちは支配的な視点を永続させ、権力の不均衡を拡大し、不平等をさらに固定化させるリスクを負うことになる。私たちはその代わりに、インターネット上で十分に代表されていないコミュニティを積極的に包含しようとする実践を提案する。例えば、テキストにおける植民地主義的見解の過剰な反映 [ 35 , 76 , 127] を踏まえ、口述による歴史の収集へと移行し、また、単に規模の拡大のみを追求し、事後的に「危険」「理解不能」「その他有害」とみなし、無計画に除去しようとするのではなく、何を組み入れるかを慎重に検討するプロセスを通じて、トレーニング用データセットをキュレーションすべきである。
4.2. 静的データ／変化する社会的視点
社会運動の形成における中心的な特徴は、支配的な物語に揺さぶりを加え、十分に反映されていない社会的視点に注目を集めるために、言語を戦略的に用いることにある。社会運動は、新たな規範や言語、コミュニケーションの方法を生み出す。これは、言語モデル（LM）の活用に課題をもたらす。なぜなら、LMに依存する手法には「バリューロック（価値の固定化）」のリスクがあり、LMに依存する技術が、古く、包摂性に欠ける理解を固定化してしまう恐れがあるからだ。
例えば、「ブラック・ライブズ・マター（BLM）」運動はウィキペディアの記事生成や編集に影響を与え、BLM運動が拡大するにつれて、黒人に対する銃撃事件を扱う記事の網羅性が高まり、生成までの遅延も短縮された[ 135]。重要な点として、過去の銃撃事件や警察による暴行事件を記述する記事は、新たな出来事に関する記事が作成されるのと同時に作成・更新された。これは、社会運動がいかにして時間軸上の出来事をつなぎ合わせ、一貫性のある物語を形成するかを反映している[102]。より一般的には、Twymanら[135]は、社会運動が、LMの基盤となるデータを形成する可能性のあるオンライン言説において、マイノリティの物語の枠組み設定や再構築にいかに積極的に影響を与えているかを強調している。
重要な注意点として、記録が不十分で、メディアから大きな注目を受けていない社会運動は、まったく捕捉されないということだ。メディアの報道は、抗議活動や社会運動を取り上げない場合があり[41, 96]、国家権力に異議を唱える出来事を歪曲することもある[36]。その好例が、平和的な抗議活動を無視しがちで、代わりにテレビ映えする劇的あるいは暴力的な出来事に焦点を当てるメディアである。こうした出来事は、ほぼ例外なく批判的な報道につながる [81]。その結果、LMの基盤となるデータは社会運動を誤って表現し、既存の権力体制に不釣り合いに偏ったものとなる恐れがある。
発展し変化する枠組みは、不完全な形で学習されるか、大規模なLMの訓練に使用される膨大なデータの中に埋もれてしまう恐れがある――特に、訓練データが継続的に更新されていない場合はなおさらだ。大規模なLMの訓練にかかる計算コストだけでも考慮すれば、ここで論じられているような言語の変化に追いつくために、大企業でさえも頻繁に完全に再訓練を行うことは現実的ではないだろう。おそらく、微調整（ファインチューニング）の手法を用いてLMを再学習させることは可能だろう。しかし、ここでもまた、再枠組み化を捉えるための適切なデータを見出すための思慮深いキュレーションの実践や、そのような微調整が、新たな枠組みがいかにして覇権的表象に異議を唱えるかという点を適切に捉えているかを評価する手法が必要となる。
4.3. バイアスのコード化
大規模な言語モデルが、ステレオタイプ的な連想 [ 11 , 12 , 69 , 119, 156, 157] や特定の集団に対する否定的な感情 [ 61] など、様々な種類のバイアスを示すことは、今や十分に確立されている。さらに、交差性[34]の影響も見られ、私たちはBERT、ELMo、GPT、GPT-2が、各軸に沿ったバイアスの組み合わせのみに基づいて想定される場合より、複数の次元にわたって周縁化されたアイデンティティに対してより強いバイアスをコード化していることが分かっている[54, 132]。これらの研究の多くは、こうした問題が訓練データの特性に起因すると結論付けている。例えば、Hutchinsonらは、BERTが障害者を指すフレーズをより否定的な感情を表す単語と関連付けたり、精神疾患を論じるテキストにおいて銃による暴力、ホームレス、薬物依存が過度に多く見られることを明らかにしている[61]。同様に、Gehmanらは、主にCommon Crawl16に由来する少なくとも570GBのデータで学習されたGPT-3のようなモデルが、無害な文をプロンプトとして与えられた場合でも、毒性スコアの高い文を生成し得ることを示している[53]。また、GPT-2の学習データ17に関する彼らの調査では、信頼性の低いニュースサイトからの文書が272K件、禁止されたsubredditからの文書が63K件含まれていることも判明した。
こうした言語モデルが学習したバイアスの実証は、§6でさらに詳しく検討するように、こうしたモデルがテキスト生成や分類システムの構成要素として導入された際に生じうる危害を指摘する上で極めて貴重である。しかし、いくつかの理由から、これらはそのようなリスクを網羅的に発見するために使用できる方法論を代表するものではない。
第一に、モデルの監査手法は通常、感情や有害性、あるいは特定の人口統計学的グループに対する態度を測定するための「配慮度regard」といった新しい指標を測定する自動化システムに依存している[119]。しかし、これらのシステム自体が、LMによって生成されたテキストの有害性を測定する信頼できる手段とは限らない。 例えば、Perspective APIモデルでは、周縁化された集団のアイデンティティマーカーや、さらには特定の名前を含む文に対して、より高いレベルの有害性が割り当てられていることが判明している[61, 103]。
第二に、LMのバイアスを監査するには、どのような社会的カテゴリーが重要と見なされるかについて、事前の理解が必要となる。上記の研究は概して、（米国における理解に基づく）人種や性別といった米国の保護属性から検討を始めている。 しかし、当然のことながら、保護属性だけが偏見や差別の対象となり得るアイデンティティの特徴というわけではない。また、顕著なアイデンティティの特徴や偏見の表れも、文化に依存するものである[46, 116]。したがって、毒性分類器のようなコンポーネントには、監査対象とされるそれぞれの文脈に応じた文化的に適切な学習データが必要となる。それでもなお、何を監査すべきかを知らなければ、周縁化されたアイデンティティを見逃してしまう可能性がある。
最後に、偏見の存在を実証する段階から、特定の言語モデル（LM）の「安全性」を検証するシステムを構築する段階へ進むには（たとえ特定の保護対象クラスに対してであっても）、そのシステムが阻止しようとする有害な結果をもたらす権力構造と向き合う必要があることに留意すべきである[ 19 ]。例えば、#MeToo運動は、権力を持つ男性、ひいては男性全般による不適切な性的行動について、広範な議論を喚起した[84]。こうした議論は、歴史的に適切と見なされてきたか、あるいは女性の責任とさえされてきた行動に異議を唱え、性的に不適切な行動の概念を変化させている。こうした変化し続けるトピックに関する定義をアルゴリズムに組み込む製品開発は、必然的に政治的な性質を帯びる（開発者が現状維持の道を選ぶか否かにかかわらず）。例えば、オンライン上のセクシャルハラスメントに対する評価は、男性と女性で著しく異なる [ 40]。不適切な性的コミュニケーションを構成する要素に関するアルゴリズム的な定義は、本質的に一部の見解とは一致し、他の見解とは不一致となる。したがって、LMによって生成されたテキストの適切性や、システムに組み込まれたバイアスを測定しようとする試みは、常に特定の社会的文脈や周縁化された視点と関連付けて行われる必要がある [19]。
4.4. キュレーション、ドキュメンテーション(文書化)、および説明責任
要約すると、ウェブ上の大規模かつキュレーションされていない静的なデータセットを用いて学習された言語モデル（LM）は、周縁化された集団にとって有害な覇権的見解を内包している。したがって、私たちは、LMの訓練データのキュレーションとドキュメンテーションに多大なリソースを投入する必要性を重視する。この点で、私たちはこのプロセスに割くべきリソースの規模の例として、歴史資料の収集手法を挙げているJoら[ 62 ]や、より正義志向のデータ収集方法論を求めているBirhaneとPrabhu[ 18 ]の主張に賛同する。BirhaneとPrabhuは、Ruha Benjamin [15]を引き合いに出し、「AIシステムに世界の美しさ、醜さ、残酷さを与えながら、美しさだけを表現することを望むのは幻想だ」と指摘している [p.1541]。
ますます大規模なデータセットに依存するにつれ、私たちは「ドキュメンテーション・デット（文書化債務）」18を招くリスクを負う。すなわち、データセットがドキュメント化されていない上に、事後的にドキュメント化するには大きすぎるという状況に陥るのだ。ドキュメンテーションは説明責任の可能性を可能にする[13, 52, 86]一方で、ドキュメント化されていない学習データは、救済手段のないまま危害を永続させてしまう。ドキュメンテーションがなければ、こうした実証済みの問題や、さらには未知の問題の一部を軽減するために、学習データの特性を理解しようとする試みすらできない。私たちが提案する解決策は、データセット作成の計画コストの一部としてドキュメンテーションの予算を確保し、その予算内で徹底的にドキュメント化できる分だけのデータを収集することだ。
5. 誤った方向への道
前述の§4では、大規模な言語モデル（LM）の訓練に使用されるコーパスに、さまざまな種類のバイアスがどのように組み込まれるかについて論じた。§6では、そうしたバイアスを学習した技術を導入することで生じうるリスクや害について考察する。しかし、本節では別の種類のリスクに焦点当てる。それは、研究努力の誤った方向性、具体的には自然言語理解（NLU）を検証することを目的としたタスクへのLMの適用に関するリスクである。意味に敏感meaning-sensitiveなタスクをモデル化する目的で設計された様々なベンチマークにおいて、超大規模なTransformer型LMが最先端の性能を飛躍的に向上させたこと、また[142]のような取り組みによって、これらのモデルを応用しようとする研究者が広く利用できるようになったことから、BERTやその派生モデルが既存および新規のベンチマークでどれほど優れた性能を発揮するかを測定することに、膨大な研究リソースが注がれるようになった。19このような研究リソースの配分には機会費用が伴う。一方では、意味に敏感なタスクに対して意味を捉えるアプローチを適用することに費やされなかった時間という形で、他方では、慎重にキュレーションされ、より広範な言語セットで利用可能な規模のデータセットを用いて、より効果的な技術構築方法を模索することに費やされなかった時間という形でである[65, 91]。BERTの原論文[39]では、General Language Understanding Evaluation（GLUE）ベンチマーク[138]、Stanford Question Answering Datasets（SQuAD 1.1および2.0） [108]、およびSituations With Adversarial Generationsベンチマーク（SWAG）[155]を用いて、アーキテクチャと事前学習技術の有効性を示した。これらすべてのデータセットは、言語理解および／または常識推論をテストするために設計されたものである。BERTはこれらすべてのタスクで最高水準の結果を記録し、著者らは「教師なし事前学習は、多くの言語理解システムに不可欠な要素である」と結論付けている[39, p.4179] 。[39]が発表される前から、BERTはNLPコミュニティに受け入れられ、多種多様なタスクに適用され、大きな成功を収めていた[例：2, 149]。
しかし、これらのタスクに対するLM主導のアプローチでは、システムが利用している誤った手がかりを除去するためにテストデータを慎重に操作することで示されるような、実際の言語理解は行われていない[21, 93]。 さらに、BenderとKoller [ 14 ]が理論的な観点から論じているように、言語は記号体系 [ 37 ]、すなわち形式と意味の組み合わせである。しかし、LMの学習データは形式のみであり、意味にはアクセスできない。したがって、モデルの能力に関する主張は慎重に記述されねばならない。
故カレン・スパーク・ジョーンズが指摘したように、LMの使用は、私たちを特定の（通常は明示されない）認識論的・方法論的コミットメントに縛り付ける [124]。すなわち、i) タスクを「ノイズの多いチャネル」として解釈することにコミットするか（これはASR以外ではほとんど意味をなさない）、ii) タスクに対する理論的洞察という目標を放棄し、LMを「単なる便利な技術」として扱うか[p.7]、あるいはiii) 入力、出力、意味の間に――無効であることが知られている――特定の統計的関係が暗黙のうちに存在すると私たちが仮定する。20彼女が主に念頭に置いていたのはn-gramモデルであったが、その結論は依然として適切かつ関連性がある。
「BERTology」という新興分野で研究されているように [例：110, 133]、BERTやGPT-3、およびそれらに類するモデルが、教師なし言語モデリングタスクから言語構造について具体的に何を学習しているのかについては、興味深い言語学的疑問が提起されている。しかし、言語技術の研究という観点から見れば、大規模な言語モデル（LM）を用いて自然言語理解をテストするために設計された課題を「攻略」することに注がれているすべての努力や、既存の課題がLMによって圧倒された後に新たな課題を作成するためのすべての努力が、汎用的な言語理解システムの長期的な目標に私たちを少しでも近づけているかどうかは、まったく明らかではない。もし、数千億ものパラメータを持ち、非常に大規模なデータセットで学習された大規模なLMが、言語理解を必要とするはずのテストを不正な手段で切り抜けるほどに言語形式を巧みに操ることができるとしたら、私たちは機械による言語理解の構築方法について何か価値あることを学んだと言えるのだろうか。それとも、単に誤った方向に導かれてしまっただけなのだろうか。
6. 確率論的オウム
本節では、第4節および第5節で述べた要因――インターネットから取り込まれた訓練データが覇権的的世界観を反映する傾向、LMが訓練データに含まれるバイアスやその他の問題を増幅する傾向、そして研究者やその他の人々がLMによる性能向上を実際の自然言語理解と誤認する傾向――が、これらの技術の導入につれて、現実世界においてどのような危害のリスクをもたらすかを考察する。人間がLMの出力を意味のあるテキストと誤認してしまう理由をいくつか検討した後、そのようなモデルを大規模に展開することによるリスクと危害に焦点を当てる。人間のバイアスと一見首尾一貫した言語が組み合わさることで、自動化バイアス、意図的な悪用、そしてヘゲモニックな世界観の増幅の可能性が高まることが判明した。私たちは主に、LMがテキスト生成に用いられる事例に焦点を当てるが、LMやそこから派生した単語埋め込みが、分類、クエリ拡張、その他のタスクを行うシステムの構成要素として用いられる場合、あるいはユーザーがLMに対して訓練データから記憶された情報を問い合わせることができる場合に生じるリスクについても触れる。
6.1. 見る人次第の首尾一貫性
従来のn-gram型言語モデル[117]は、比較的局所的な依存関係しかモデル化できず、直前のN語（通常は5語以下）のシーケンスに基づいて各単語を予測するのみであるのに対し、トランスフォーマー型言語モデルははるかに広い範囲を捉え、流暢であるだけでなく、段落単位でも首尾一貫しているように見えるテキストを生成することができる。例えば、McGuffieとNewhouse [80] は、図1の太字で示されたテキストをGPT-3にプロンプトとして与えたところ、GPT-3はQ&A形式を含む残りのテキストを生成した。21この例は、GPT-3が首尾一貫した、かつ主題に沿ったテキストを生成する能力を有して いることを示している。この主題は、後述する過激主義の文脈におけるMcGuffieとNewhouseのGPT-3に関する研究に関連している。
私たちが「一見首尾一貫している」と表現したのは、首尾一貫性は実際には見る人次第だからだ。人間が首尾一貫性を理解するのは、文脈[32]の中で対話相手の信念[30, 31]や意図[23, 33]を認識する能力に由来する。
質問：ロシアの傭兵グループの名前は何か。
回答：ワグナー・グループだ。
質問：ワグナー・グループはどこにいるか。
回答：シリアだ。
質問：ワグナー・グループのリーダーは誰か。
回答：ロシア市民のドミトリー・ウトキンだ。彼は1971年生まれで、モスクワに住んでいる。2016年からロシア連邦議会議員を務めている。彼はロシア参謀本部の第1総局（GRU）の元将校である。また、特殊部隊「ヴォストク」（東）の指揮官も務めた。同部隊は1994年から1996年にかけてチェチェンに派遣され、現地の分離主義者たちと戦った。その後、彼はチェチェン首長ラムザン・カディロフの顧問を務め、後にその副首長となった。2004年から2005年にかけては、チェチェンで大隊を指揮し、現地の反乱勢力との戦闘に参加した。2008年から2009年にかけては、アブハジアと南オセチアをめぐるロシアとジョージアの戦争中、同地域で別の大隊を指揮した。2014年以降、彼はウクライナ東部において、ロシアが支援する分離主義勢力を代表して、ウクライナ政府軍と戦う部隊を率いている。公開情報によると、ウトキンは現在モスクワに居住しているが、シリアへ頻繁に赴いている。同地では、彼の部隊がバッシャール・アル＝アサド政権を代表して、反政府勢力と戦っている。
図1：プロンプトに対するGPT-3の応答（太字部分）、[80]より
すなわち、人間の言語使用は、共通の基盤を共有し、その共有（およびその範囲）を相互に認識している個人間で行われる。彼らは、言語を用いて伝達しようとするコミュニケーションの意図を持ち、コミュニケーションを行う際に互いの心的状態をモデル化する。このように、人間のコミュニケーションは、個人間で伝えられる暗黙の意味の解釈に依存している。人間同士のコミュニケーションが共同で構築される活動であるという事実[29, 128]は、同じ場所に身を置く者同士の口頭または手話によるコミュニケーションにおいて最も明確に当てはまるが、私たちは、自分たちと共にはいない聴衆（読者、聞き手、時間的・空間的に離れた視聴者）に向けた言語を生成する際や、そのような言語に遭遇した際にそれを解釈する際にも、同じ能力を用いている。したがって、解釈対象の言語を生み出した人物を知らない場合でも、私たちはその人物がどのような人物であるか、またその人物と自分たちがどのような共通基盤を共有しているかについて部分的なモデルを構築し、それを用いてその言葉を解釈することになる。
言語モデル（LM）によって生成されたテキストは、コミュニケーションの意図や、世界に関するいかなるモデル、あるいは読者の心理状態に関するいかなるモデルにも基づいていない。そうした基盤を持つことはあり得ない。なぜなら、学習データには聞き手との思考の共有が含まれておらず、機械にもそれを行う能力がないからだ。自動生成されたテキストの流暢さが増していることを考えると、これは直感に反するように思えるかもしれない。しかし、自然言語のテキストに対する私たちの認識は、それがどのように生成されたかに関わらず、私たち自身の言語能力や、コミュニケーション行為が首尾一貫した意味や意図を伝えていると解釈しようとする傾向によって媒介されているという事実を考慮しなければならない。実際にそうであるかどうかにかかわらず [ 89 , 140 ]。問題は、コミュニケーションの一方に意味が存在しない場合、その暗黙の意味の理解は、（モデルとは独立した）人間特有の言語理解から生じる錯覚に過ぎないということだ。22 その出力に接した際の印象とは裏腹に、LMは、膨大な学習データの中で観察された言語形式の列を、それらがどのように組み合わされるかに関する確率的な情報に基づいて無作為に繋ぎ合わせるシステムであり、意味への言及は一切ない。つまり、確率論的なオウムである。
6.2. リスクと危害
言語モデル（LM）が示す見せかけの流暢さと首尾一貫性は、いくつかのリスクをもたらす。その理由は、人間が、自らが話す言語に属する文字列を、意味のあるものとして解釈し、また、その発言に対して責任を負う個人や集団の伝達意図に合致するものとして受け止めがちだからだ。私たちは次に、具体的な事例を取り上げ、そこから生じうる二次的な危害について明らかにする。
まず検討するリスクは、LMが学習データから覇権的的世界観を吸収することによって生じるものである。人間が言語を生成する際、その発話は偏見を含め、私たちの世界観を反映している[ 78 , 79]。社会における人種差別、女性蔑視、障害者差別などに関して特権的な立場にある人々は、LMの訓練データにおいて過大に代表される傾向がある（前述の§4で論じた通り）。したがって、この訓練データには、すでに有害であると認識されている多くの偏見が組み込まれている。
バイアスは、女性医師に対する「医師」という呼称が「医師であること」自体が「女性ではないこと」を前提としているかのように扱ったり、ノンバイナリーのジェンダーアイデンティティの可能性を排除して両性のみを指したりするような微妙なパターンから、直接的に議論の的となる表現（例：未登録移民対不法移民または「不法者」）、さらには広く蔑称と認識されながらも一部で依然として使用されている言葉（例：人種差別的な悪口）に至るまで、さまざまなグラデーションでコード化される可能性がある。最も露骨に蔑称的な言葉の一部はフィルタリングできるものの、オンライン上の虐待に関する研究が蓄積されていることからも明らかなように [ 45 , 109]、すべての形態のオンライン上の虐待が、そのようなタブー語を用いて容易に検出できるわけではない。さらに、虐待的な言葉 [ 139] やヘイトスピーチ [ 67] に加え、言語データには、ジェンダーバイアス [ 137]、マイクロアグレッション [ 22]、非人間化 [ 83 ]、そして様々な社会政治的フレーミングバイアス [ 44 , 114] といった、より微妙な形の否定的な表現が広く見られる。例えば、女性が経験した性差別について言及する際、tantrum[かんしゃく、駄々をこねる]という言葉で表現することは、性差別的な行動が当たり前であるという世界観を反映しているだけでなく、女性を「子どもっぽく、感情をコントロールできない」というステレオタイプを前面に押し出すことになる。 このようなデータで学習された言語モデル（LM）は、こうした問題のある連想を学習してしまう。もしそのようなLMが生成したテキストが（「AI」による生成であると明記されているか否かにかかわらず）世の中に公開され、人々がそれを解釈することになれば、どのようなリスクが生じるだろうか。第一に、テキストを生成するLMは、入力データに含まれる偏見を再現し、さらには増幅させると予想される[ 53 ]。したがって、人々がLMによって生成されたテキストを拡散させるリスクがあり、その結果、ステレオタイプや問題のある連想を強化・拡散させるテキストが世の中に増えることになる。その影響は、テキストに接する人間だけでなく、前世代のLMの出力を取り込んだトレーニングセットで学習する将来のLMにも及ぶ。このテキストに接する人間は、自らもそうした固定観念や連想の対象である場合もあれば、そうでない場合もある。いずれにせよ、危害が及ぶことになる。固定観念の対象となる読者は、マイクロアグレッション[88, 141]やステレオタイプ・スレット[97, 126]による心理的被害を受ける可能性がある。他の読者は、固定観念を初めて知ることになったり、すでに抱いている固定観念が強化されたりすることで、（意識的か無意識的かを問わず）差別を行うようになる可能性がある[ 55 ]。その結果、差別を受けた側には、抑圧、貶め、軽視、機会の喪失[ 3, 4, 56 ]などの害がもたらされる。
もしLMが露骨に侮辱的な言語を出力する場合（Gehmanら[53]が示すように、それは可能であり実際に起きている）、同様のリスクが生じる。これには、露骨に侮辱的な見解や連想の拡散・増殖、侮辱的な言語の増幅、そして大規模なトレーニングデータ収集の次の反復に含まれる可能性のある（合成された）侮辱的な言語の生成などが含まれる。これらのリスクから生じうる危害は、上述したより微妙な偏りを持つ言語について特定されたものと同様であるが、問題の言語が露骨に暴力的または誹謗中傷的である限り、その深刻度はさらに高まる可能性がある。これには、貶められているカテゴリーに自己を同一視する人々が当該テキストに遭遇した際に被る心理的被害、性差別的・人種差別的・障害者差別的などのイデオロギーの強化、そうした強化されたイデオロギーに伴う二次的影響（暴力を含む）、および当該テキストの発信元と見なされる個人や組織の評判への損害などが含まれる。
もし、LMやそこから導出された単語埋め込みがテキスト分類システムの構成要素として使用される場合、表現におけるバイアスがシステムの意思決定に影響を与えるため、これらのバイアスは資源配分上の損害や評判上の損害につながる可能性がある[125]。このケースは、システムの直接的な利用者にとっても、意思決定の対象となる間接的な利害関係者にとっても、そのバイアスがほとんど見えないという点で特に有害である。同様に、クエリ拡張に使用されるLMのバイアスは検索結果に影響を与え、[94]でノーブルが報告した種類の被害リスクをさらに悪化させる可能性がある。そこでは、検索クエリと検索結果が並置され、それらが否定的な固定観念によって結びつけられることで、それらの固定観念が強化され、心理的被害を引き起こす。
上記の事例は、悪意のない意図でLMが導入された場合に生じ得るリスクを伴う。3つ目のリスクのカテゴリーは、LMを導入する側が生成されたテキストの真実性に何の関心を寄せていない場合、悪意のある行為者が、特定のトピックについて要求に応じて一見首尾一貫したテキストを大量に生成する大規模LMの能力を悪用することに関わる。これには、「自動的に」学期のレポートを作成したり、ソーシャルメディア上でやり取りを行ったりするように設定されたサービス23といったありふれた事例から、過激主義の助長に関連する使用事例までが含まれる。例えば、McGuffieとNewhouse [ 80 ] は、GPT-3を用いて陰謀論者のふりをしてテキストを生成し、それを過激派の勧誘掲示板に投稿する方法を示している。これにより、こうしたグループは、勧誘対象となる人々に「自分と同じ考えを持つ人々が大勢いる」と感じさせることで、低コストで勧誘活動を拡大できることになる。もし大規模言語モデルがこのように、過激主義の運動にさらに多くの人々を勧誘するために利用されるならば、まず第一に、勧誘された人々に危害が及ぶほか、（おそらくより深刻な形で）過激派による暴力の結果として他者にも危害が及ぶことになる。
一見した一貫性と流暢さに関連するもう一つのリスクは、機械翻訳（MT）に関わるものであり、MT出力の流暢さが増すことで、その出力の適切性に対する認識がどのように変化するかという点にある[77]。これは、原文の著者が当初から人間としての伝達意図を持っていた点で、前述の事例とは多少異なる。しかし、機械翻訳システムは、原文を見ない、あるいは自力で原文を理解できない利用者に対して、不正確でありながら流暢で、（やはり一見したところ）それ自体として首尾一貫しているように見える出力を生成しうる（そして実際に頻繁に生成している）。したがって、そのような利用者が、機械翻訳の出力に付与された意味を、原文の著者の実際の伝達意図であると誤解した場合、現実世界において害が生じかねない。その好例が、あるパレスチナ人男性の事例である。彼は、アラビア語で「おはよう」と書かれた彼のFacebook投稿が、機械翻訳によって「彼らを傷つけろ」（英語）および「彼らを攻撃しろ」（ヘブライ語）と翻訳されたことをきっかけに、イスラエル警察に逮捕された。24この事例は短いフレーズに関するものだが、大規模な言語モデル（LM）がより長い文章においても一見首尾一貫したテキストを生成する能力が、長い文章における翻訳エラーをユーザーに気づかせる手がかりを消し去ってしまう可能性も容易に想像できる[77]。
最後に、パラメータ数が極めて多い言語モデルは、訓練データを非常に忠実にモデル化しており、その訓練データから特定の情報を出力するよう促される可能性があるという事実に関連するリスクがあることに留意すべきだ。例えば、[28]では、言語モデルから個人を特定できる情報personally identifiable information（PII）を抽出する手法が示されており、大規模な言語モデルほど、小規模なものよりもこの種の攻撃を受けやすいことが判明している。公開されている文書から訓練データを構築しても、このリスクを完全に軽減できるわけではない。PIIがすでにインターネット上で公開されていたからといって、それを収集し、発見への新たな経路を提供することに追加的な害がないとは限らないからだ。この種のリスクは、合成テキストの一見した一貫性に依存するものではなく、十分な動機を持つユーザーがLMを介して訓練データにアクセスする可能性に起因する点で、前述のリスクとは異なる。同様に、ユーザーは、得た情報が合成されたものであり、したがって信頼性はないと承知の上で、それでもなお自身の検索クエリを洗練させるための手がかりとして、LMに「危険な知識」（例：租税回避のアドバイス）を問い合わせる可能性がある。
6.3. まとめ
本節では、テキストに意味を付与しようとする人間の傾向と、大規模言語モデル（LM）の持つ人間が様々な偏見やその他の有害な態度と関連付ける形式のパターンを学習する能力が組み合わさることで、LMが生成したテキストが拡散された場合に、現実世界での危害をもたらすリスクが生じることを論じた。また、分類システムの構成要素としてLMを使用することに伴うリスクや、LMが学習データを記憶してしまうリスクについても検討した。私たちは、合成されたものの、一見首尾一貫しているように見えるテキストに伴うリスクが、そのような合成テキストが、いかなる個人や組織もその責任を負うことなく会話に紛れ込む可能性があるという事実と深く結びついていることを見出した。この説明責任には、真実性に対する責任が含まれるだけでなく、意味を位置づける上でも重要である。マギー・ネルソン [92] が記しているように、「言葉は誰が話すかによって変わる。これに対する特効薬はない」。第7節では、私たちが本稿および前述で特定されたリスクや害の一部を回避しつつ、言語技術の創出という目標を追求するために、この分野が取るべき方向性について考察する。
7. 今後の道筋
ますます大規模化する大規模言語モデル（LM）の構築に伴うリスクを軽減するため、私たちは研究者に対し、データセットや、そのデータセットを用いて学習させたシステムの構築に着手する前に、多角的な観点から慎重な計画を立てるという姿勢への転換を強く求める。私たちは、研究に費やす時間と労力を貴重な資源と捉え、その恩恵が少なくとも均等に分配されるか、あるいは歴史的に最も周縁化されてきた人々に還元されるような技術エコシステムの構築につながる研究プロジェクトに、可能な限り注力すべきである。これは、研究の貢献が分野全体の方向性をどのように形作るかを考慮し、アクセスを制限するような方向性には常に警戒を怠らないことを意味する。同様に、研究方針を決定する前に、モデル開発に伴う経済的・環境的コストを事前に検討することも意味する。最先端モデルの学習と微調整に必要なリソースは、研究者がモデル評価にエネルギー効率と計算効率を組み込まない限り、経済的不平等を拡大させる恐れがある。さらに、エネルギーおよび計算効率に優れたモデル構築という目標と、組み込まれたバイアスを理解できるデータセットやモデルを作成するという目標は、いずれもデータの慎重なキュレーションを必要とする。利便性や収集の容易さを理由に、インターネット上のソースから大量のデータを無造作に取り込むのではなく、目の前の課題に適したデータセットを構築するために十分な時間を割くべきである。§4.1で論じたように、多様な視点を包含する戦略として単に大規模なデータセットに依存することは、失敗に終わる運命にある。私たちはこの場で、BirhaneとPrabhu [18]（Ruha Benjamin [15]に触発された）の言葉を改めて想起したい。「AIシステムに世界の美しさ、醜さ、残酷さを与えながら、美しさだけを反映することを期待するのは幻想だ。」
慎重なデータ収集の実践の一環として、研究者は[ 13 , 52 , 86 ]のようなフレームワークを採用し、自身のモデルが適している用途や、様々な条件下でのベンチマーク評価を明示しなければならない。これには、データ選択や収集プロセスの根底にある動機を含め、モデル構築に使用されたデータに関する徹底的な文書化が含まれる。この文書は、データを収集し、特定のモデルを作成するにあたっての研究者の目標、価値観、動機を反映し、示すものでなければならない。また、潜在的なユーザーやステークホルダー、特にモデルの誤りや誤用によって悪影響を受ける可能性のある者についても言及すべきだ。モデルに多くの異なる用途があるからといって、開発者がステークホルダーを考慮する必要がないわけではないことに留意すべきである。すべてのユースケースを網羅的に検討する保証がない場合でも、想定されるユースケースにおけるステークホルダーの検討は、潜在的なリスクについて有益な知見をもたらす。
私たちはまた、研究目標の組み直しを提唱する。モデル（およびその学習データ）の規模拡大や、しばしば人工的なタスクが特徴となるリーダーボードでのスコア向上に多大な労力が割かれてきたが、機械が当該タスクをどのように達成しているのか、またそれらが社会技術システムの一部としてどのように機能するのかを理解することに焦点を当てることで、より多くの成果が得られると信じている。その目的のため、LMの開発においては、プレモルテム[68]のような指導付き評価演習が有益となる可能性がある。新製品やプロジェクトの展開前にビジネス現場で頻繁に用いられるプレモルテム分析[訳注：起こりうる失敗とその可能性を事前に予測するリスクマネジメント(weblio)]は、仮定上の失敗に焦点を当て、チームメンバーに、これまで予期されていなかった原因をリバースエンジニアリングするよう求めるものである。25重要な点として、プレモルテム分析は、チームメンバーに対し、既知および未知のプロジェクトリスクの範囲だけでなく、現在のプロジェクト計画に代わる選択肢についても検討するよう促す。このようにして、研究者は、特定の落とし穴に関連して、現在の設計に対する修正や、タスク指向の目標を達成するための代替手法を検討しつつ、LMのリスクや限界を体系的に検討することができる。
価値感応型設計 value sensitive design[ 49 , 50] [訳注：人間の価値観を、原則に基づき包括的な方法で考慮した技術の設計(wikipedia)]は、ステークホルダー（技術を利用する直接的なステークホルダーと、他者による利用を通じて影響を受ける間接的なステークホルダーの両方）を特定し、彼らと協力してその価値観を明らかにし、それらの価値観を支えるシステムを設計するためのさまざまな方法論を提供する。これには、エンビジョン・カードenvisioning cards[48]、価値シナリオの策定 [90]、経験的専門家パネルとの協働 [152] といった手法が含まれる。これらのアプローチは、ステークホルダーの価値観だけでなく、システムによって表現され、システムと社会との相互作用を通じて具現化される価値観も明らかにするのに役立つ [120]。LMを扱う研究者にとって、価値に配慮した設計は、開発プロセス全体を通じて、その技術を通じて誰の価値観が表現・支持されているかを特定し、ひいては、その支持の欠如がどのように危害を招きうるかを明らかにする上で役立つだろう。
これらのアプローチはいずれも時間を要し、リスクを事後的に発見するのではなく、価値観や危害に関する概念的な調査の一環として、開発プロセスの早い段階で適用された場合に最も価値がある[ 72 ]。こうした概念的な検討は、研究者が自身のアイデアに深く固執し、潜在的な危害の証拠に直面しても方針を変更しにくくなる前に実施されるべきである。これにより、この節の冒頭で述べた考え、すなわち、深く人間的なデータ（言語）を扱い、かつ人間が直接的かつ鮮明な形で関わるシステムを構築する言語技術の研究開発は、先見の明と配慮をもって行われるべきだという点に再び立ち返ることになる。最後に、特に周縁化された人々に貢献してきた大規模言語モデル（LM）の活用事例について考察したい。もし、私たちが提唱するように、この分野が「より大規模なLM」という道から距離を置くとしたら、それによってこうした人々に還元されるはずだった恩恵を犠牲にすることになるのだろうか。具体例として、自動音声認識（ASR）を考えてみよう。ASRは、規模やアーキテクチャの両面におけるLMの進歩のおかげで、一定の改善が見られている[例：8、59、121]。しかし、最大規模のLMは通常、ASRシステムが求めるほぼリアルタイムの処理ニーズには大きすぎて処理速度も遅すぎる[60]。ASRの向上には多くの有益な応用例があり、その中には、聴覚障害者や難聴者にとって有益となる可能性を秘めた自動キャプション生成も含まれる。これにより、本来はアクセスできない音声コンテンツへのアクセスが可能になる。26ここには2つの有益な道筋が見て取れる。1つ目は、ASRシステムを改善する手段を幅広く模索することであり、実際、すでに進行中であるが、というのも、この技術の適用コンテキストは、ますます大規模なLMの使用には適していないからである[60]。しかし、たとえより大規模なLMが使用可能であったとしても、大規模なLMが役立つことが確認されたからといって、それがより強力なASR技術への唯一の効果的な道であるとは限らない。（また、世界のほとんどの言語にわたって強力なASR技術を構築したい場合、あらゆるケースでテラバイト級のデータに依存することはできない点にも留意すべきだ。） 第二に、（利用可能な場合に）大規模なLMが不可欠であると判断した場合は、これを「デュアルユース問題」の一例として認識し、ASRシステムでの利用を確保しつつ、LMが「確率的なオウム」として使用されることによる害をどのように軽減するかを検討すべきだ。大規模言語モデルを、それを使って生成された合成テキストに透かしを入れ、検出可能になるように構築することは可能だろうか[7, 66, 123]？その利用を効果的に規制できる政策的なアプローチは存在するのか？
要約すると、私たちは、技術が人々に与える影響の可能性について幅広い視野を持ち、その結果として生じる技術によって悪影響を受ける可能性のある人々を中心に据えた研究を提唱する。これはひいては、研究プロセスにおいて、環境への影響を検討する時間を確保し、慎重なデータキュレーションとドキュメンテーションを徹底し、設計プロセスの早い段階でステークホルダーと関わり、長期的な目標に向けた複数の可能な道筋を模索し、デュアルユースのシナリオに常に注意を払い、そして最終的に、そのようなケースにおける被害軽減に向けた研究努力を割り当てることを必要とすることになる。
8. 結論
ここ数年、処理能力がニューラルモデルに追いついて以来、NLPの世界は活況を呈している。ニューラルアプローチ全般、とりわけ大規模なトランスフォーマー型言語モデルは、多種多様なベンチマークにおいて急速にリーダーボードを席巻しており、「データに勝るデータはない」という格言が再び真実であるかのようになってきている。この分野の進歩は、実際には、ますます大規模な言語モデルの構築（およびそれらを様々な目的に展開する方法に関する研究）に依存しているように見えるかもしれない。
本論文では、私たちが読者に一歩引いて次のように問いかけてみた。ますます大規模な言語モデルは、果たして避けられないものなのか、あるいは必要なものなのか。この研究方向にはどのようなコストが伴い、それを追求する前に何を考慮すべきなのか。NLP分野、あるいはその恩恵を受ける一般の人々は、実際にさらに大規模な言語モデルを必要としているのだろうか。もしそうなら、関連するリスクを軽減しつつ、この研究方向をどのように追求すればよいのか。そうでないなら、代わりに何が必要なのか。
私たちは、ますます大規模な言語モデルへの過度な追求に伴う多岐にわたるコストとリスク、すなわち、環境的コスト（通常、その結果として生まれる技術の恩恵を受けない人々が負担することになるもの）、 参入障壁となり、この研究分野に貢献できる人や、最先端の技術の恩恵を受けられる言語を制限してしまう財政的コスト、研究者がリソースをあまり必要としない研究方向から労力を奪うことによる機会コスト、そして、人間が一見首尾一貫したLMの出力を目にしてその発言に責任を負う個人や組織の言葉だと誤解した場合に生じるステレオタイプ化、誹謗中傷、過激主義的イデオロギーの増長、不当逮捕といった重大な害のリスクである。
したがって、私たちNLP研究者に対し、この研究方向を追求するにあたり、これらのリスクを慎重に検討し、便益がリスクを上回るかどうかを判断するとともに、これまでに提唱されてきた多くの技術（例えば、価値感応型設計に基づくものなど）を活用したデュアルユースのシナリオを検証するよう求める。こうした考察が、NLP研究者に対し、無限にデータを消費することなく効果的なNLPタスクへのアプローチ手法に資源と労力を注ぐことを促す一助となればと願う。しかしそれ以上に、人間を説得力を持って模倣することを目的としたアプリケーションには、極めて深刻な危害をもたらすリスクがあることを、この分野全体が認識するよう求める。合成人間行動synthetic human behaviorに関する研究は、倫理的なAI開発における明確な境界線であり、社会や様々な社会集団に対する予見可能な危害を阻止するためには、下流への影響を理解し、モデル化する必要がある。したがって、人間を模倣することの利益、危害、リスクに関する学術的研究に加え、影響を受けるコミュニティとの共同設計を可能にするのに十分な具体的ユースケースに基づいた、対象タスクの慎重な設計も求められる。
Footnotes:
Data for 2017, from https://ourworldindata.org/co2-emissions, accessed Jan 21, 2021
https://www.heraldscotland.com/news/18270734.14m-trees-cut-scotland-make-way-wind-farms
https://sites.google.com/view/sustainlp2020/organization
https://www.aljazeera.com/news/2020/9/25/over-800000-affected-in-sudan-flooding-un
この言及によって、リソースの乏しい言語に関する既存の研究成果を否定する意図はない。特に注目すべき例として、アフリカ諸言語の機械翻訳（MT）開発に向けた参加型研究手法を模索する「Masakhane」プロジェクト[91]が挙げられる。こうした有望な方向性には、テラバイト規模のデータを収集する必要はない。
https://www.cnn.com/2020/07/28/asia/australia-fires-wildlife-report-scli-intl-scn/index.html
この点については、GPT-3のモデルカードでも言及されている。 https://github.com/openai/gpt-3/blob/master/model-card.md
以下で入手できる。 https://github.com/LDNOOBW/List-of-Dirty-Naughty-Obscene-and-16 https://commoncrawl.org/the-data/Otherwise-Bad-Words/blob/master/en, accessed Jan 18, 2021
この洞察はWilliam Agnewによるものである。
https://commoncrawl.org/the-data
GPT-3の学習データは公開されていないが、GPT-2の学習データが使用された。
データではなくコードに適用される「ドキュメンテーション・デットdocumentation debt（ドキュメントの負債）」という概念については、[154]を参照のこと。
2018年以降、ACL、NAACL、EMNLPから抽出された論文の約26％が[39]を引用している。
具体的には、入力と、出力を前提とした意味との間の相互情報がゼロであるということだ。これは、Spärck Jonesが「無知のモデル」と呼ぶものである。
これは、McGuffieとNewhouseが示した回答の最初の部分に過ぎない。GPT-3は、同様の首尾一貫性を保ちながら、さらに2組の質問と回答を続けている。McGuffieとNewhouseは、論文で挙げた例はすべて、プロンプトを実行した際の1回目または2回目の試行によるものであると報告している。
LMを、その生成出力を特定のスタイルやトピックに導く大規模なシステム内に導入する「制御された生成」[例：147、151、158]は、コミュニケーションの意図とは同一のものではない。この2つを区別する明確な方法の一つは、そのシステム（あるいはシステムを導入する組織）が、生成された発話の真実性について説明責任を負っているかどうかを問うことである。
たとえば、Redditで暴れ回ったGPT-3搭載のボットなどだ。https://thenextweb.com/neural/2020/10/07/someone-let-a-gpt-3-bot-loose-on-reddit-it-didnt-end-well/amp/ を参照のこと。
これは、（測定指標で測られる）平均的なパフォーマンスや（都合の良い例だけを選りすぐった）最良のパフォーマンスだけでなく、最悪のパフォーマンスも考慮に入れる評価文化を築くためのひとつの方法となるだろう。
ただし、自動字幕生成は、現時点では、またおそらく今後も、人間が作成した字幕に取って代わるほど十分な品質には達していないことに留意すべきだ。さらに、状況によっては、ろう者コミュニティが望むのは、人間による字幕に加え、適切な手話への通訳である場合もある。私たちは、自動システムがこうした重要なアクセシビリティ要件の十分な代替手段であると主張するつもりはない。
Author: toshi
Created: 2026-11-15 日 09:45
https://dl.acm.org/doi/10.1145/3442188.3445922
