EUの新しい人工知能法は、オーウェル的な監視国家を実現する危険性がある

AIシステムが有色人種、移民、その他の疎外されたグループにどのような影響を与えるかを分析する際には、文脈が重要になる。AIの開発者は、負のバイアスを予測して防ぐことができるかもしれませんが、ほとんどの場合、そのようなシステムは必然的に不公平を悪化させる。なぜなら、AIシステムは、特に警察や移民の分野において、組織的な差別や暴力が行われている状況下で導入されるからだ。

欧州委員会のウルスラ・フォン・デア・ライエン委員長が、就任後の100日間で「最先端でありながら信頼できる」人工知能（AI）のための規制を実現すると公約して以来、世界のハイテク政策の顕微鏡はEUの対応に向けられている。

フォン・デア・ライエンが就任して1年以上が経過した昨日、欧州委員会はAIに関する提案を発表した。

この規制には賛否両論がある。AIに関する強制力のある規則を避けようとするEU諸国や産業界の粘り強いロビー活動にもかかわらず、提案は多くの人が予想していたよりもはるかに強い基本的権利の姿勢をとっている。社会的スコアリングのためのAIや、警察による生体認証システムの利用を一部禁止することで、欧州委員会は、AIの利用の中には許容すべからざる有害なものもあるという議論に道を開いた。

この告白は、公共の場での顔認識や予測的な取り締まりなど、AIに許すべきではない線を引くように求めてきた市民社会にとって、希望の光となるものだ。

ビッグブラザー？

しかし、よく読んでみると、欧州委員会が提案した禁止事項は比較的弱々しいものであることがわかりる。例えば、法執行機関が公共空間で「リアルタイムの遠隔生体認証システム」（顔認証など）を使用することを禁止することに対して法律案では多くの除外項目が設けられている。

欧州委員会のマルグレーテ・ベスタガー副委員長は、この法律案の発表に際し、「私たちの社会には大量監視の余地はない」と述べた。しかし、すでに狭い範囲で禁止されていることに加えて、企業やそ政府機関別のところには一切適用されないという例外規定があるため、生体認証技術を使って私たちを監視する余地は十分にある。大量監視の浸透を前提とする産業にとって、AI法はそれほど厳しいものではないだろう。

さらに、欧州委員会の提案は、政府や公的機関が差別的な監視システムを展開することにゴーサインを出す危険性がある。予測型警察活動、亡命手続きにおけるAI、労働者監視など、「高リスク」のAIに対する規則は、実際に配備する公的機関ではなく、主に開発者自身に課せられるものであり、これが懸念材料である。

また、生体認証や分類などの一部の狭い用途を除いて、ほとんどの「高リスク」用途の法律への適合性は、開発者自身が評価することになる。これは、民主的な監視にとって大きな赤信号となる。AIシステムから利益を得ている人たちが公正な評価をすることを信頼できるだろうか？

抑圧の技術

AIシステムが有色人種、移民、その他の周縁化されたグループにどのような影響を与えるかを分析する際には、文脈が重要になる。AIの開発者は、負のバイアスを予測して防ぐことができるかもしれないが、ほとんどの場合、そのようなシステムは必然的に不正義を悪化させる。なぜなら、AIシステムは、特に警察や移民の分野において、組織的な差別や暴力が行われているより広い文脈の中で導入されるからだ。

欧州委員会のAIに関する法律案が、最も有害なAIの使用に終止符を打つとはとても思えない。ビザ取得の過程で移民の「嘘を見抜く」とされるAIや、マイノリティの居住区により多くの取り締まりを指示する予測取り締まりシステム、性自認や障害の有無で私たちを識別すると称する自動化システムなど、最も問題のある利用法は、規則が現状のままであれば、厳格な規制を回避することができそうだ。

手がかりは既得権益の中にある

EUが差別的な監視技術に歯止めをかけようとしないことを示す手がかりはいくつもあった。遡ること2020年2月、欧州委員会は「公共部門によるAIの導入促進」を重要な目的に挙げ、AIに依存した製品やサービスの迅速な展開が不可欠だと主張した。

特に、法執行や移民管理の分野では、明確な「AI擁護pro-AI」のアジェンダが掲げられている。EUの移民協定では、欧州委員会が「移民に関する再出発」の一環として、未成年者を含めた顔認証の利用に関する実現可能性調査を提案した。

他にも、EUは差別的な監視技術の実験に直接資金を提供している。2016年から2019年の間に400万ユーロ以上が費やされた「iBorderCtrl」は、旅行者に顔認識を用いた「非侵襲的」な嘘発見を行う「インテリジェント」な国境処理システムである。他にも、EUは「Horizon 2020」という資金調達プログラムの一環として、「人種分類」システムの研究に資金を提供している。

もしEUがこれらのシステムについてすでに決意を固めているのであれば、新法が、特に周縁化されたグループへの悪影響を抑えることを期待できるのだろうか。私たちを監視し、差別するようなAIの国家的・商業的利用に対して法的な禁止事項や「レッドライン」には至らないなかで、AI法は私たちを完全に保護することはできそうにない。

差別的な監視の影響を受ける可能性が最も高い人々にとって、これは十分とはいえない。「人間を中心とした」アプローチとは程遠い現在の法律案は、オーウェル的な監視国家を可能にする危険性をはらんでいる。

この論説は、Euronewsが最初に発表されたものである。

投稿者

サラ・チャンダー
シニア・ポリシー・アドバイザー
ツイッター @sarahchander

EU’s new artificial intelligence law risks enabling Orwellian surveillance states