Howdy! How can we help you?
(Lighthouse Reports)アルゴリズム中毒
2022年12月20日
禁止と画期的な判決にもかかわらず、オランダでマスプロファイリングシステムSyRIが再登場
オランダは、生活保護の不正受給を効率的に発見するため、アルゴリズムを使った実験を行う国が増え続けている国のひとつだ。オランダはまた、画期的な人権裁判に敗れ、2021年に子ども手当をめぐるスキャンダルで政府が辞任し、何千人もの親を不正に告発したことが明らかになったことから、「デジタル・ディストピア」を推進する国として非難されている。
システムリスク表示」を意味するSyRIと名付けられた「マスプロファイリング」システムが、市民社会組織の連合によって、2020年にEU人権法の違反とされたとき、この判決はデジタル上の権利にとっての画期的な出来事として迎えられた。
SyRIの判決は、オランダの育児給付金スキャンダルの概要が明らかになったときに下された。このスキャンダルでは、国の給付金当局が開発した機械学習モデルに基づいて、数千人の親に対して不正行為の疑惑が浮上し、二重国籍をリスクの特性として違法に利用した。
破産からトラウマに至るまで、2万人以上の親が受けた「Toeslagenaffaire」の被害の全容が明らかになると、2021年1月、Mark Rutteの政権が退陣する。その後、「組織的な人種差別」を公式に認めたが、同じ政権の多くが再選され、福祉削減と効率化の追求は続いており、潜在的に危害を及ぼすテクノロジーがまだ使用されているのかどうか、疑問が残されている。
調査方法
子ども手当をめぐる政治スキャンダルの後、オランダで最も先進的な都市のひとつであるユトレヒトに情報公開請求を行い、同市が生活保護の不正受給を予測するためにアルゴリズムを使用しているかどうかを確認した。すると、驚くべき回答が返ってきた。ユトレヒト市では、市全域でこのようなシステムを使用しているわけではなく、市北部の郊外にある低所得者層が住むオーバーヴェヒトという地区で使用されているとのことだった。
入手した文書によると、この比較的貧しい地域で不正を予測しようとしていたのは市政府だけでなく、国の給付当局、税務当局、雇用エージェンシーも含まれていたことが明らかになった。技術やデータ共有のやり方は、悪名高いSyRIと驚くほど似ていた。
パートナーであるVPRO Argosとともに、私たちは、オランダ全土の何十もの低所得者層が、オーバーヴェヒトと同じようにデータ駆動型プロファイリングの対象として選ばれていることを発見した。「リスク指標」のリストを含む文書からは、生活保護受給中に出産したシングルマザーであることや、海外に住むパートナーがいることが、住民にフラグを立てる結果になることが示された。その他にも、年齢、性別、水や電気の消費量、子ども、パートナーとの関係、車、銀行口座、借金などのデータも分析されている。
これらのいわゆる「近隣指向」のプロジェクトの中心は、社会省が主導する生活保護不正受給や「乱用」と闘うために協力する政府省庁の集まりであるLSIグループだった。Lighthouse ReportsとArgosが入手したプロジェクト計画には、国の給付当局がLSIプロジェクトのために疑わしい住所にフラグを立てるために使用するアルゴリズム「リスクモデル」についての言及があった。このアルゴリズムは、何千人もの親が誤って不正受給者とされ、最終的にオランダ政府の辞任にまで発展した育児給付金スキャンダルの一部と同じものであることが、後に確認された。
私たちがこの調査結果を発表したとき、当初のSyRI連合をはじめとする法律の専門家たちは、私たちの疑念を確認した。政府は、国内で最も脆弱な地域のいくつかで、わずかに修正した形でSyRIをひそかに配備し続けていたのだ。
「私たちがSyRIの手法に反対していたのは、無防備な市民が個人情報をリンクされることによって、大量の不透明な監視にさらされる点ででした。これらの文書は、SyRIの判決後、こうした行為がひたすら続けられたことを示している」と、訴訟の当事者の1人であるオランダの市民権団体Platform Bescherming Burgerrechtenの議長、Tijmen Wismanは述べている。
ストーリーライン
アムステルダムのすぐ北にある小都市ザーンダムでは、当局は特定の地域ではなく、「問題のある」アパートをLSIプロジェクトを行う対象として選ぶことにした。
問題視された住民の一人で、3人の子どもを持つ若い母親は、不正行為の取締り担当者が自分のアパートに押しかけ、「協力しなければ給付金を失うリスクがある」と告げたと回想している。この女性は匿名を条件に、担当者が家族の洗濯物を調べ、電気メーターをチェックし、夫が浮気していないかどうか尋ねたと言う。
「自分が住んでいる社会全体に対して、非常に重大な行為の責任を負っているような気持ちになります」と彼女は言った。
Privacy Internationalの法務担当者であるLaura Lazaro Cabreraは、オランダのケースは、英国を含めて、社会的弱者が新しいテクノロジーの実験場として機能する場合に、福祉システムのデジタル化が抑制されないことによるリスクを例示していると述べている。
「これらの侵襲的なテクノロジーは、すでに脆弱な状況にある人々を過剰な監視下に置き、事実上、彼らの貧困を罰するリスクがあります」とカブレラは述べている。
この調査結果を受けて、Carola Schouten社会問題担当大臣は、LSIの活動方法について「外部審査」を開始する、と発表した。「もちろん、給付金が正しく請求されているかどうかをチェックし、不正行為に取り組まなければならないことは言うまでもない」「しかし、私は、現在の慣行をオープンで批判的に見ることも重要だと考えています」「しかし、私は、現在の慣行をオープンで批判的に見ることも重要だと考えています」と彼女は書いている。
