労働と技術:アルゴリズム管理:職場監視の再訓練

Categories
< Back
You are here:
Print

労働と技術:アルゴリズム管理:職場監視の再訓練

AI Now Institute

2023年4月11日

労働者のパワーを有意義に構築するためには、アルゴリズム管理を規制するポリシーを作成しなければならない。アルゴリズムシステムは、労働者の給与、安全、リソースへのアクセスに影響を与える不公平な決定を正当化するために使用されるものであり、労働者の私生活を侵害するものであり、労働者の団結力を阻害するものだからだ。

これらのツールの使用を完全に制限したり、最低でも最も侵襲的な形態の監視について使用禁止区域を設けたり、明確なルールが必要なケースがある。このようなポリシーは、労働者、雇用者、そしてこれらのツールを販売する企業間の力の不均衡を是正するのに役立つだろう。


アルゴリズム経営が台頭している。過去数年にわたる労働者主導の組織化は、アルゴリズム管理がいかに仕事の評価を下げ、労働条件の悪化につながり、労働者の健康と安全に対するリスクを生み出すか[1]、リスクと特権を不当に分配し、保護された労働者主導の集団行動を脅かし、個人と労働者のプライバシーを破壊することにつながるかに注意を促してきた[2]。政策対応は、労働者の賃金、プライバシー、自律、集団行動を行う権利を支持することに配慮した方法でこの増加のペースと規模と向き合うことでこれらの要請に対応しなければならない。[3]

パンデミックの発生以来、労働者と職場の監視は強化され、リモートワークへのシフト、仕事と家庭の曖昧さの増加、職場テクノロジーの個人デバイスやスペースへの統合に拍車がかかっている[4]。これは業界全体や個別管理レベルにわたって起こっているが[5]、低賃金労働者は、職場監視とアルゴリズムが可能にした危害を終わらせるための闘いの最前線に立っている。労働者主導の組織化によって、アルゴリズムによる管理が、労働者のベンチマークや給与の設定[6]、生産性のノルマ[7]、労働者の雇用、昇進、降格、解雇の推奨などに利用されていることに注意が払われるゆになってきた[8]。

企業は、仕事に監視カメラを導入する理由について、差別を抑制する、中間管理職がコンプライアンスを証明するのに役立つ指標を提供する、応募者の履歴書に目を通すなど特定の労働集約的なプロセスの効率を高める、といった根拠の薄い、脈絡のない様々な理由を述べている。アルゴリズミック・マネジメントは仕事の評価を貶め、リスクや特権を不当に分配し、労働者主導の集団行動を脅かし、個人と労働者のプライバシーを破壊する。[9] 労働者主導の取り組みでは、職場の監視は生産性や効率、安全性とはほとんど関係がなく、基本的にこれらのシステムは労働者に対するコントロールのために設計されているということを強調する。

アルゴリズムによる管理、労働者の監視、そしてビッグ・テックがどのように協調して機能するかを理解するためには、それらを同じ分析を通して解釈する必要がある。[10]これは、雇用者と被雇用者の関係においても、テック企業とそのユーザー間の力の不均衡においても同様である。進むべき方向は、職場環境における監視とアルゴリズムコントロールに効果的な制限を設けることであり、労働者の自律性と集団行動の権利を支持することによって、労働者と雇用者の間の力の不均衡を再調整することである[11]。

労働テクノロジーポリシー: 労働技術政策:新たなフレームワークの原則

労働者特有の監視に関する懸念は、米国とEUにおいてより政策的に注目され始めている。最近発表されたStop Spying Bosses Act法案は、労働者のデータ収集に関する情報開示と禁止を義務付け、労働省に職場監視テクノロジーの規制と実施を専門とするPrivacy and Technology Divisionを設置することを求めている[12]。提案されているEU Platform Work Directiveは、プラットフォーム労働者の条件を改善するための基本保護を与え、データへのアクセス、アルゴリズムの透明性、コンテスト可能性に関する義務付けを含む[13]。カリフォルニア州のワークプレイス・テクノロジー・アカウンタビリティ法の提案は、特定の種類のアルゴリズム管理と労働者の監視に関する明瞭な規則を作成し、影響評価と透明性措置の義務付けを含む[14]。ホワイトハウスが発表したBlueprint for an AI Bill of Rightsは、列挙された権利が、職場のアルゴリズムや職場の監視・管理システムを含む、すべての雇用関連システムに及ぶべきであることを示している[15]。また、米国全国労働関係委員会は、雇用者が従業員を監視・管理する能力を拡大することにより、従業員が保護活動に従事しその活動を雇用者に秘密にする能力を妨げる可能性があると懸念を示している[16]。こうした関心の高まりにより、労働技術政策の新しいフレームワークは、統合されてきている。

米国における労働者監視政策の提案は、集団的組織化と団体交渉を強化する必要がある。これは、労働者が保護された協働活動に従事する権利を強調するものでなければならない[17]。すべての労働者は、アルゴリズムによる管理と職場の監視から保護されるべきなのだ。

提案の幅広さは有望なシグナルであるが、これらの枠組みは、労働文脈における力関係に対処し、保護を自律性、集団的組織化、団体交渉の基本的権利に結びつけるためにもっと努力する必要がある。このような枠組みは、企業内組合のより伝統的なモデルを支援するものの、必ずしもそれとは異なるものであるべきだ。すべての労働者は、現在組合員であるか、将来組合員になるかにかかわらず、アルゴリズムによる管理や職場の監視から保護されるに値する。これらの制度が、部門を超え、あらゆるレベルの管理職の労働者に影響を与えることを考えると、このような保護は、プラットフォームベースの仕事を超えて、すべての産業垂直を包含し、管理職を含む広範なものとすべきである。これらには、テクノロジーによってもたらされる危害を明らかにするための内部告発の重要性と、それを行った労働者に対する報復の明確なパターンの両方を考慮すると、強固な内部告発者保護を含むべきである[18]。また、労働者の負傷率を高めているアルゴリズムシステムを抑制するための労働安全法や、賃金・労働時間法に違反する可能性のあるジャストインタイム・シフトスケジューリングのアルゴリズムに対処するための労働法など、アルゴリズム管理システムに対する既存の法律の領域の執行を含めるべきである[19]。最後に、ハイテク企業の説明責任の中核をなす労働者主導の組織化の重要性を踏まえ、個人の権利だけではなく、集団としての権利を規定すべきである。

労働者の組織化と技術政策

技術労働者の組織化は、技術によってもたらされる危害を事前に抑制するための最も効果的で直接的な手段の一つであることが証明されている。労働者は、集団行動に参加するために大きなリスクを負い、開発途上でありながら危害を及ぼすテクノロジーや契約上の合意について内部告発してきた。また、軍事エージェンシーとの契約をやめるよう雇用主を説得したり、人権侵害を訴えたり、職場環境の改善や労働者保護を求める運動でも、顕著な成果を上げている。

この仕事の最前線にいる人たちの多くは、さまざまな報復を経験している。より強力な内部告発者保護を含む強力な基本的労働保護を達成することが、ハイテク政策のすべての領域に中心的に関係しているのはこのためである。説明責任を果たし、倫理的で責任感があり、正義を志向するハイテク部門は、組織的な労働者の力を基盤としてのみ築かれる。

労働者主導の抵抗は、多くの面で逆風に直面している。業界は縮小傾向にあり、レイオフを実施する一方で、役員報酬は維持されている。現在の経済情勢の前にも、ハイテク企業は社内の最も声高な批判者に対して報復措置を取り、ハイテク労働者組織化の最初のうねりを生み出しあメンバーの多くを解雇した。すでに世界で最も監視の目を光らせている企業のひとつであるハイテク企業は、労働者の活動を綿密に監視している: Amazonは、19世紀から20世紀初頭にかけての組合潰しで悪名高い民間警備会社ピンカートンの工作員を雇い、倉庫労働者や労働組合組織者、環境活動家をスパイするまでに至った。

これが、内部告発者保護の強化、非開示・非仲介契約を厳しく抑制すること、雇用者による競業避止条項の使用禁止など、労働者の組織化を強化するポリシーが、ハイテク産業における集中力を抑制する鍵にもなる理由である。
透明性とデータアクセス対策は必要だが不十分である。それによって危害を受ける人に負担を負わせるのではなく、開発者と雇用者に負わせるべきである。

透明性とデータアクセス対策は必要だが不十分である。負担は、それによって危害を受ける人ではなく、開発者と雇用者に負わせるべきである。

職場の監視は、その不透明性から特に危害を及ぼすものである。使用者の労働者に対する権力を拡大し、労働者の生活の最も親密な隅々にまでその視線の範囲を広げている。このような情報の非対称性の拡大に対抗するため、労働者のデータへの権利に関する多くの提案は、基本的な説明責任として、職場におけるアルゴリズムシステムの使用と監視に関する透明性と開示の義務付けに焦点を当てている[20] この中には、職場監視システムの使用方法、そのパラメータ、データ入力、展開方法などが含まれる。これらの「労働者データの権利」提案の目的は、労働者と雇用者の間に存在する情報の非対称性を均等にすることであり、特に、アルゴリズムシステムによって可能になったより侵襲的なデータ収集を通じて雇用者が得る力の増大を考慮することである。これらの提案は、労働者が自分についてどのようなデータが収集され、それがどのように使用されるかを知り、欠陥や不正確なデータにアクセスし修正する権利や、自分について不当に下された決定に異議を唱える権利を有することを保証することを求めている。

これらの提案の中で最も強力なものは、詳細を深く掘り下げ、システムの展開前を含む複数の段階で情報開示が行われることを義務付けている。これらはまた、同意が仕事の文脈では意味のある枠組みではないことを明確に確認し、仕事で義務付けられたシステムの使用を拒否することが報復につながるリスクを考えると、システムを知っていることがその使用を受け入れることに等しいという推定を一蹴している[21]。

透明性は雇用者に有利な情報の非対称性のバランスをとるのに役立つかもしれないが、提案されている労働者のデータの権利体制は、多くの点で不十分である。第一に、このようなポリシーは、労働者、雇用者、アルゴリズム管理や職場監視に使用されるソフトウェアを提供するベンダー間の関係(これらのシステムの展開を通じて誰が力を得て、誰が力を失うか)に対処することができない。雇用主がアルゴリズムを用いて組織的に賃金を引き下げたと労働者に告げること[透明性の確保]は、そもそも賃金が公正に設定され、労働者が生活できる額であることを保証するための規則を制定することに代わるものではない。また、契約上の義務や企業秘密だという主張を通じて、雇用主もソフトウェアベンダーも、労働者のデータへの完全なアクセスを提供することを求める義務に抵抗するインセンティブが働く[22]。すべての当事者が労働者にアクセスを提供することを望んでいる場合でも、データをどこに置くか、そしてそれを使って訓練したモデルは、雇用主が果たせないと主張する可能性がある困難な組織的問題を依然として残している[23]。

第二に、データアクセスを重視するポリシーの枠組みは、データを理解するための十分なリソースと能力を持つ外部のアクターの存在を前提としている。多くの団体がこのニーズに応えようと立ち上がりつつあるが[24] 、時に膨大な量のデータを解析するのに必要な文脈や専門知識を持つ人々、すなわち労働者自身やその選出された代表、調査ジャーナリスト、研究者、市民社会グループは、このような作業に貢献できる資源や時間が比較的少ないことがしばしばある。さらに、有害な企業慣行を知ることは、その企業に対する権力やコントロールを主張することと同義ではなく、最初の一歩に過ぎない。[25] したがって、固有の情報と権力の非対称性は、将来のポリシーの枠組みの前提条件として考慮されなければならない。最終的には、不正な慣行を明確に制限するブライトラインルールを利用するアプローチは、アルゴリズム管理から利益を得る者に責任を負わせ、むしろ最も危害を受けると考えられる者にさらなる仕事を負担を強いる。

私たちは、どのような場合にも使用することが不適切なドメインやテクノロジーのタイプについて、明確なレッドラインを設定しなければならない。

アルゴリズム管理に取り組む多くのポリシー提案には、職場の文脈で決して展開されるべきではない領域やタイプのテクノロジーを設定するレッドラインが含まれている:

  •     オフィスのトイレや従業員の車など、雇用主が監視する権利のない明らかなプライベートエリアについては、明確なレッドラインを設定すべきである[26]。
  •     雇用主による監視が勤務時間外に及ばないように、従業員の職務時間に関する境界線を設けるべきであるが、多くの職務ではこの境界線はあいまいである[27]。
  •     感情認識のようなある種のテクノロジーは、これらのシステムが疑似科学的であり[28]、雇用主が労働者の内面的な心理状態を把握しようとすることが不適切であるため、雇用の場で使用することをポリシーフレームで禁止する必要がある[29]。
  • アルゴリズムの賃金差別のような危害を加える行為は、全面的に禁止されるべきである[30]。

労働者データの第三者への販売やライセンス供与の禁止など、目的の制限や二次利用の禁止[31]は、アルゴリズムによる管理行為を対象とする多くのポリシー案に含まれている;32]。これらは、学者カレン・レビーが「監視の相互運用性」と表現する、政府のデータ収集、企業の監視、第三者のデータ採取を組み合わせることによって労働者の監視を相互に強化すること[33]を抑制する重要な役割を担っている。労働者は複数の、そして強化された監視体制にさらされており、ある文脈で収集された情報は比較的簡単に別の文脈に移植できたりする。例えば、雇用データのデータブローカーだと宣伝するアーガイルのような企業は、多くのソースからのデータの流れを組み合わせて、保険会社向けにライドシェアドライバーの「リスク評価」のようなサービスを提供している[34] 。また、Appriss Retail のように、POS の取引データなどのデータソースと犯罪歴の情報を組み合わせて、小売店経営者が特定の従業員が不正行為を行うリスクを評価できるようにするものもある[35] 。こうしたシステムは欠陥が多く、従業員がしばしば結果的に過ちを犯した場合に、透明性や救済措置をほとんど提供しない[36] 。

このため、こうした行為を抑制するには、データ収集に明確な制限を設けることと、データ(およびそれを基に学習させたモデル)が別の文脈に移植されることで第二の人生を歩むことができないようにすることの両方が必要となる。これらの対策は、競争法の改正案によってさらに補完される可能性があり、ハイテク企業が保有する多くのデータストリームを結合する能力を阻害することになる [プライバシーと競争へのリンク]。

データの権利とデータアクセスを中心に据えた提案と比較すると、執行手段として明瞭な線と目的の制限を打ち出した提案は、職場の文脈におけるアルゴリズム・システムの使用に対する説明責任を追求する上で、より効果的である。しかし、特にリモートワークの増加や個人用テクノロジーデバイスを使った仕事の実践に伴い、労働者の生活体験を反映した形で仕事と家庭の境界を定義するなど、明確な定義の確立には課題が残る[37]。

「Human in the loop」ポリシー提案は、アルゴリズムによる管理が実際にどのように働くかについての欠陥のある視点から運営されており、意味のある説明責任を果たすことができない。

多くの提案は、意思決定が重要であるため、完全自動化を制限すべき活動のサブセット、労働者の雇用、昇進、解雇、懲戒などについて説明している[38]。提案の中には、このリストを、仕事条件に影響を与えるアルゴリズムシステムのあらゆる影響に拡大し、特に健康や安全に影響を与える可能性が高い場合には、潜在的な影響の定期的な校閲を要求するものもある。これらの「人間がループに入る」提案は、アルゴリズムシステムを通じて提案された決定を人間が校閲することを要求することに集約され、多くの提案では、決定が不正確または不公平に行われた場合に取り消す権利も要求している。

こうした提案の枠組みは、AIシステムを使って行われる意思決定が完全に自動化されたものでも、完全に人間によるものでもなく、一般的には両者の間の連続体にあるという現実を無視するものである。さらに、人間のオペレーターを組み込むことは、自動化された意思決定システムの欠陥や不透明な意思決定から保護するのではなく、むしろ正当化することになりかねない。ループに人間を加えることは、自動化された意思決定のニュアンスや精度を高めるのではなく、「ゴム印を押す」ことになりかねない[39]。何が「意味のある」監督機能を構成するかについて明確な定義はなく、自動化ツールのアドバイスを見せられた人々は、自動化バイアス、つまり精査せずに自動化システムを擁護する傾向があるという調査結果がある[40]。最後に、このような提案は責任の所在をあいまいにする可能性があり、人間の監督機能の責任者が、自分ではほとんどコントロールできないシステム上の失敗の責任を負わされることになる41。これらの弱点は、人間の監督メカニズムの精査を強化し、明瞭線的措置を通じて、特定の意思決定にアルゴリズムをまったく関与させるべきか否かという緊張に対処することによって説明する必要がある。

監査は、ハイテク企業や雇用者に、自分たちの慣行を誤認させる機会を提供し、それが現実を反映していない場合には異議を唱えられると暗示する可能性がある。

事前・事後評価の提案は、データ保護影響評価(DPIA)と同様に、アルゴリズム管理に取り組む多くのポリシーフレームワークの提案で義務付けられている[42]。私たちは、説明責任のセクションで一般的な慣行としての監査に関する一連の懸念を概説したが、これらの考慮事項はすべてこの文脈で当てはまる。監査は、労働省、米国労働安全衛生局、米国雇用機会均等委員会など、職場環境や雇用差別を監督する政府機関に事件を照会する根拠となるというプラスの効果をもたらすかもしれないが、こうした照会は、他の形態の証拠に基づいて行うことができる。

特に、雇用主やソフトウェアベンダー側の歪んだインセンティブは、監査人が効果的に監査を実施するために必要な情報への有意義なアクセスを得ることができるかどうかという点に疑問を投げかける[43]。さらに、企業が監査結果に対して企業秘密を主張する可能性は高く、監査から得られたどのような情報が公開されるのか、誰が決定権を持つのかという問題につながる。このことは、AI採用企業のHireVueが、自社のソフトウェアが不偏不党であることを証明するために依頼した独立監査の結果を選択的に公表しようとした例で、すでに明らかになっている。これは、特にHireVueが批判されていた顔分析と従業員のパフォーマンス予測を除外して、監査の幅を誤解させる表現になっている[44]。この例は、より厳格な説明責任措置を回避しながら説明責任に関心を示すメカニズムとして、監査が企業によっていかに行使され得るかを示している。

第三に、効果的な監査を実施するために必要な専門知識を誰が持っているのか、特に業界標準が存在しない場合、その判断は依然として未解決の疑問である。

最も基本的なレベルでは、監査は、これらのシステムの利用が有意義に争えるという考えを前提としており、これは雇用者と労働者の間のパワーダイナミクスをうまく反映できていないものである。

データ保護規制は、今日、実施への道を開くものであるが、十分に進んでいるとは言えない。

データ保護に焦点を当てた最近の規制努力は、カリフォルニア州消費者プライバシー法の改正が2023年1月に施行され、その保護が大企業の労働者に拡大されたが、職場はほとんど除外されている[45]。主に、ほとんどのデータ保護ポリシーの中心となる同意フレームワークは労動の文脈では破綻するという理解に基づき、職場を例外扱いすることがデータ保護法における大きな適用除外をもたらしている。実際には、米国では職場の監視が大幅に拡大しているにもかかわらず、プライバシー規制への関心の波から労働者が取り残されていることを意味している。

逆に、ヨーロッパの文脈では、アルゴリズム管理に関する情報を求めて訴えるために、組合や労働者の集団によって、一握りの規制が非常に効果的に利用されている。例えば、App Drivers and Couriers Unionは、EU一般データ保護規則(GDPR)に基づき、ライドシェアのドライバーの給与を決定するために使用されるデータとアルゴリズムに関する権利を主張するためにUberを提訴している[46]。

研究者は、既存のEUのデータ保護規制は、労働者の監視やアルゴリズム管理の使用に対してより強力な執行姿勢を可能にするツールを既に提供していると主張している[47]。このような提案は、GDPR、EU AI法、CCPAに大きく目を向けて、上記のポリシー手段の多くが既存の法律で既に説明されていると主張する。例えば、GDPRは、アルゴリズムによる意思決定やプロファイリングに関与する場合、データ主体への通知を既に求めているが、アルゴリズム管理システムを使用している企業がそれを行っているかどうかは依然として不明である[48]。また、データ保護影響評価の使用を必要とするGDPRの35条要件は、仕事の文脈での使用にも適用されると考えられ、DPIAは、アルゴリズム意思決定システムを仕事に導入する前とその後の反復の両方で実施されるべきである[49]。

しかし、ここでも、データ保護法に由来するポリシーは、システムから利益を得る人ではなく、システムによって危害を受ける人に負担がかかるという、上述の罠にはまることがほとんどである。裁判所は、GDPRは、労働者が自分についてどのような情報が収集されるかを一般的に知らされるようにするといったより広い目的を達成するためではなく、法律違反に関連する透明性のために設計されていると結論付けて、こうした弱点を強化している。[50] 市民社会団体や立法案によって提唱されている新世代の「データ最小化」ポリシーは、より有望である。これには、特定の種類のデータ(例えば生体情報)の収集に対するより強い制限や、特定の種類の文脈(例えば職場、学校、雇用)での当該データの使用に対する制限が含まれるが、これらのうちのいくつかが仕事や雇用の文脈にどの程度適用されるかは依然として不明である。

技術政策を通じて労働者の力を高める

労働者監視の保護が米国のより一般的なプライバシー規制とは無関係に発展する可能性が高いことを考えると、従来のデータ保護のパラダイムから脱却し、最も意味のある規定(目的と収集の制限、データのアクセス権)を保持しながら、情報の非対称性にもっと効果的に対応する労働者監視に関する法律を策定する機会が存在する。

まず、これらの措置は、データがどのように収集され、そのデータに何が起こるかにのみ焦点を当てるのではなく、アルゴリズムの方法を用いて労働者について推測できること、すなわちその結果に焦点を当てることができる。これは、テック企業によるファーストパーティプロファイリング活動へのシフト、匿名化への依存、プライバシーの差異とデータの合成生産、個人データを直接追跡することなく機械学習技術を使用して推論を行う能力の向上を考えると特に重要である。このようなアプローチには、匿名化されていても集団としての労働者を危害するために使用されるデータも含まれる可能性がある。その一例が、企業がどの店舗や場所が最も組合化しやすいかを予測し、組合つぶし技術を準備したり、先手を打って展開したりすることを可能にする職場データの収集である[51]。

第二に、将来を見据えた権利の枠組みは、(個人的ではなく)集団的な危害の文脈を含むデータの影響重視の定義から進めるべきである。このようなアプローチは、保護された協働活動への干渉や監督機能に対する保護をより効果的に提供し、アルゴリズム管理ポリシーを基本的な労働権保護と一致させることになる。分析の対象としてデータの確保に焦点を当てるのではなく、政策提言は、データとアルゴリズムモデルがどのようにコントロールの様式として、また自律性と集団的な力を侵食する手段として道具化されているかを前景化するアプローチを採択することができる。根本的に、目下の問題はデータについてではなく、労働者と雇用者の間の関係と構造的不公平についてである。

Footnotes

1. Edward Ongweso Jr, “Amazon’s New Algorithm Will Set Workers’ Schedules According to Muscle Use”, Vice, April 15, 2021; WWRC, “The Public Health Crisis Hidden in Amazon Warehouses”, WWRC, January 14, 2021; Strategic Organizing Center, “Safety and Health at Amazon Campaign”, Strategic Organizing Center; Strategic Organizing Center, “The Injury Machine: How Amazon’s Production System Hurts Workers,” Strategic Organizing Center, April 2022; Strategic Organizing Center, “The Worst Mile: Production Pressure and the Injury Crisis in Amazon’s Delivery System”, Strategic Organizing Center, May 2022. 

2. See Athena, “Put Workers over Profits: End Worker Surveillance”, Medium, October 14, 2020; Sara Machi, “’We are not robots’ Amazon workers in St. Peters join international picket on Black Friday”, ksdk, November 25, 2022; Athena, Letter to FTC on Corporate Surveillance, Medium, July 29, 2021. Aloisi and De Stefano, Your Boss is an Algorithm: Artificial Intelligence, Platform Work and Labour (Oxford: Hart Publishing); Karen Levy, Data Driven: Truckers, Technology and the New Workplace Surveillance (Princeton: Princeton University Press, 2023); Pauline Kim, “Data-Driven Discrimination at Work,”William & Mary Law Review 48 (2017): 857–936; and Miranda Bogen and Aaron Rieke, “Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias,” Upturn, December 2018. 

3. Jeremias Adams-Prassl, Halefom H. Abraha, Aislinn Kelly-Lyth, M. Six Silberman, Sangh Rakshita, “Regulating Algorithmic Management: A Blueprint”, March 1, 2023. 

4. See Jodi Kantor and Arya Sundaram, “The Rise of the Worker Productivity Score,”New York Times, August 14, 2022; Sissi Cao, “Amazon Unveils AI Worker Monitoring For Social Distancing, Worrying Privacy Advocates,”Observer, June 16, 2020; Zoë Corbyn, “‘Bossware Is Coming for Almost Every Worker’: The Software You Might Not Realize Is Watching You,”Guardian, April 27, 2022; Irina Ivanova, “Workplace Spying Surged in the Pandemic. Now the Government Plans to Crack Down,” CBS News, November 1, 2022; and Danielle Abril and Drew Harwell, “Keystroke Tracking, Screenshots, and Facial Recognition: The Boss May Be Watching Long After the Pandemic Ends,”Washington Post, September 24, 2021. 

5. Such techniques have a long history, though what we see at present is an acceleration of these long-standing trends. See for example Min Kyung Lee, Daniel Kusbit, Evan Metsky, and Laura Dabbish, “Working with Machines: The Impact of Algorithmic and Data-Driven Management on Human Workers,” CHI ’15: Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems (April 2015): 1603–1612; Wilneida Negrón, “Little Tech Is Coming for Workers: A Framework for Reclaiming and Building Worker Power,” Coworker.org, 2021; Antonio Aloisi and Valerio De Stefano, Your Boss Is an Algorithm: Artificial Intelligence, Platform Work and Labour (Oxford: Hart Publishing: 2022); Alexandra Mateescu and Aiha Nguyen, “Algorithmic Management in the Workplace,” Data & Society, February 2019; Richard A. Bales and Katherine V.W. Stone, “The Invisible Web at Work: Artificial Intelligence and Electronic Surveillance in the Workplace,”Berkeley Journal of Employment & Labor Law 41, no. 1 (2020): 1–62; Ifeoma Ajunwa, Kate Crawford, and Jason Schultz, “Limitless Worker Surveillance,”California Law Review 105, no. 3 (June 2017): 101–142; and Kirstie Ball, “Electronic Monitoring and Surveillance in the Workplace: Literature Review and Policy Recommendations,” Joint Research Centre (European Commission), November 15, 2021. 

6. Tracey Lien, “Uber class-action lawsuit over how drivers were paid gets green light from judge”, Los Angeles Times, February 19, 2018. 

7. Albert Samaha, “Amazon Warehouse Worker Daniel Olayiwola Decided to Make a Podcast About Amazon’s Working Conditions”, Buzzfeed, February 16, 2023, https://www.buzzfeednews.com/article/albertsamaha/daniel-olayiwola-amazon-scamazon-podcast. 

8.  Albert Samaha, “Amazon Warehouse Worker Daniel Olayiwola Decided to Make a Podcast About Amazon’s Working Conditions”, Buzzfeed, February 16, 2023, https://www.buzzfeednews.com/article/albertsamaha/daniel-olayiwola-amazon-scamazon-podcast. 

9. See Aloisi and De Stefano, Your Boss is an Algorithm; Karen Levy, Data Driven: Truckers, Technology and the New Workplace Surveillance (Princeton: Princeton University Press, 2023); Pauline Kim, “Data-Driven Discrimination at Work,”William & Mary Law Review 48 (2017): 857–936; and Miranda Bogen and Aaron Rieke, “Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias,” Upturn, December 2018. 

10. Matthew Bodie, “Beyond Privacy: Changing The Data Power Dynamics In The Workplace”, LPE Project, July 2, 2023. 

11. Jeremias Adams-Prassl, Halefom H. Abraha, Aislinn Kelly-Lyth, M. Six Silberman, Sangh Rakshita, “Regulating Algorithmic Management: A Blueprint”, March 1, 2023. 

12. Bob Casey, Cory Booker, and Brian Schatz, “Stop Spying Bosses Act of 2023.”

13. European Commission, “Commission Proposals to Improve the Working Conditions of People Working Through Digital Labour Platforms,” press release, December 9, 2021. 

14. Worker Rights: Workplace Technology Accountability Act, A.B. 1651, California Legislature (2021–2022). 

15. White House, Office of Science and Technology Policy (OSTP), “Blueprint for an AI Bill of Rights,” October 2022, 3. 

16. See Jennifer A. Abruzzo, National Labor Relations Board General Counsel, “Memorandum GC 23-02,” October 31, 2022.The concerns outlined in Abruzzo’s memo are backed by well-documented evidence; see for example Ari Shapiro, “Amazon Reportedly Has Pinkerton Agents Surveil Workers Who Try to Form Unions,” NPR, November 30, 2020. 

17. National Labor Relations Board, “Concerted Activity,” n.d., accessed March 3, 2023. 

18. Athena, “Silencing of Whistleblowers in the Workplace is a Threat to Public Health”, Medium, May 1, 2020; Lauren Kaori Gurley, “Amazon Warehouse Workers in Minnesota Walk Off the Job, Protest Alleged Retaliation”, Vice, October 2, 2020. 

19. AFL-CIO Technology Institute, “Woodall AFL-CIO Tech Institute Digital Trade Testimony”, November 30, 2022. 

20. UC Berkeley’s Labor Center has a robust compilation of policy information about the case for worker technology rights; see Annette Bernhardt, Reem Suleiman, and Lisa Kresge, “Data and Algorithms at Work,” UC Berkeley Labor Center, November 3, 2021. 

21. One example is the use of AI-powered hiring software. While developments such as Illinois’ Artificial Intelligence Video Interview Act (2020) and New York City’s Local Law 144 compel employers to inform candidates when they are being processed by an AI-powered tool and offer them a viable alternative, candidates may be unwilling to ask for an alternative lest they be seen as a “difficult” or noncompliant candidate. See Illinois General Assembly, “Artificial Intelligence Video Interview Act,” 820 ILCS 42/, 2021; and New York City Council, “Automated Employment Decision Tools,” 2021/144. 

22. See for example Worker Info Exchange, “Managed by Bots: Data-Driven Exploitation in the Gig Economy,” December 2021. 

23. See Will Evans, “Amazon’s Dark Secret: It Has Failed to Protect Your Data,”Wired, November 18, 2021; Information Commissioner’s Office (ICO), “Principle (e): Storage limitation,” n.d., accessed March 3, 2023; and Intersoft Consulting, “Art. 5 GDPR: Principles Relating to Processing of Personal Data,” n.d., accessed March 3, 2023. 

24. See for example Worker Info Exchange; Massachusetts Institute of Technology School of Architecture + Planning, “The Shipt Calculator: Crowdsourcing Gig Worker Pay Data to Audit Algorithmic Management”; and Alex Pentland and Thomas Hardjono, “Data Cooperatives,” April 30, 2020. 

25. Veena Dubal, “On Algorithmic Wage Discrimination.”SSRN, January 23, 2023; Zephyr Teachout, “Personalized Wages”, SSRN, May 12, 2022. 

26. Worker Rights: Workplace Technology Accountability Act, A.B. 1651. 

27. See Worker Rights: Workplace Technology Accountability Act, A.B. 1651; and European Commission, “Proposal for a Directive of the European Parliament and of the Council on Improving Working Conditions in Platform Work,” December 9, 2021. 

28. See Information Commissioner’s Office (ICO), “‘Immature Biometric Technologies Could Be Discriminating against People’ Says ICO in Warning to Organisations,” October 26, 2022; Worker Rights: Workplace Technology Accountability Act, A.B. 1651; and Ifeoma Ajunwa, “Automated Video Interviewing as the New Phrenology,”Berkeley Technology Law Journal 36, no. 3 (October 2022): 1173–1226. 

29. See European Commission, “Proposal for a Directive of the European Parliament and of the Council on Improving Working Conditions in Platform Work.” 

30. See Dubal, “On Algorithmic Wage Discrimination.” 

31. See Worker Rights: Workplace Technology Accountability Act, A.B. 1651; and Lora Kelley, “What Is ‘Dogfooding’?”New York Times, November 14, 2022. 

32. Jeremias Adams-Prassl, Halefom H. Abraha, Aislinn Kelly-Lyth, M. Six Silberman, Sangh Rakshita, “Regulating Algorithmic Management: A Blueprint”, March 1, 2023. 

33. Karen Levy, “Labor under Many Eyes: Tracking the Long-Haul Trucker,” Law and Political Economy (LPE) Project, January 31, 2023. 

34. Argyle

35. Appriss Retail

36. See Negron, “Little Tech Is Coming For Workers” 

37. See Aiha Nguyen and Eve Zelickson, “At the Digital Doorstep: How Customers Use Doorbell Cameras to Manage Delivery Workers,” Data & Society, October 2022; Gabriel Burdin, Simon D. Halliday, Fabio Landini, “Why Using Technology to Spy on Home-Working Employees May Be a Bad Idea,” London School of Economics, June 17, 2020; Personnel Today, “Technology blurs boundaries between work and home for ‘Generation Standby’,” May 20, 2010. 

38. See Worker Rights: Workplace Technology Accountability Act, A.B. 1651; and European Commission, “Proposal for a Directive of the European Parliament and of the Council on Improving Working Conditions in Platform Work.” 

39. Ben Green and Amba Kak, “The False Comfort of Human Oversight as an Antidote to A.I. Harm,”Slate, June 15, 2021. 

40. Peter Fussey and Daragh Murray, “Policing Uses of Live Facial Recognition in the United Kingdom,” AI Now Institute, September 2020. 

41. Austin Clyde, “Human-in-the-Loop Systems Are No Panacea for AI Accountability,” Tech Policy Press, December 1, 2021; Niamh McIntyre, Rosie Bradbury, and Billy Perrigo, “Behind TikTok’s Boom: A Legion of Traumatised, $10-a-Day Content Moderators,” Bureau of Investigative Journalism, October 20, 2022; Adrienne Williams, Milagros Miceli, and Timnit Gebru, “The Exploited Labor Behind Artificial Intelligence,”Noema, October 13, 2022. 

42. See Worker Rights: Workplace Technology Accountability Act, A.B. 1651; and European Commission, “Proposal for a Directive of the European Parliament and of the Council on Improving Working Conditions in Platform Work.” 

43. See Ada Lovelace Institute and DataKind UK, “Examining the Black Box: Tools for Assessing Algorithmic Systems,” April 2020; and Mathias Vermeulen, “The Keys to the Kingdom,” Knight First Amendment Institute at Columbia University, July 27, 2021. 

44.  Alex C. Engler, “Independent Auditors Are Struggling to Hold AI Companies Accountable,”Fast Company, January 26, 2021. 

45.  Daniel Geer, Charles P. Pfleeger, Bruce Schneier, John S. Quarterman, Perry Metzger, Rebecca Bace, and Peter Gutmann, “CyberInsecurity: The Cost of Monopoly: How the Dominance of Microsoft’s Products Poses a Risk to Security,” Schneier on Security, September 24, 2003.  

46.  See Dubal, “On Algorithmic Wage Discrimination,” 10; and Natasha Lomas, “Ola Is Facing a Drivers’ Legal Challenge over Data Access Rights and Algorithmic Management,” TechCrunch, September 10, 2020. 

47.  Antonio Aloisi, “Regulating Algorithmic Management at Work in the European Union: Data Protection, Non-Discrimination and Collective Rights,”International Journal of Comparative Labour Law and Industrial Relations, forthcoming, accessed March 3, 2023. 

48.  (GDPR Art 13(2)(f) and Art 14 (2)(g); see also Intersoft Consulting, “Art. 13 GDPR: Information to Be Provided Where Personal Data Are Collected from the Data Subject,” n.d., accessed March 3, 2023; and Intersoft Consulting, “Art. 14 GDPR: Information to Be Provided Where Personal Data Have Not Been Obtained from the Data Subject,” n.d., accessed March 3, 2023.  

49.  Aloisi, “Regulating Algorithmic Management at Work in the European Union.” 

50.  Dubal, “On Algorithmic Wage Discrimination,” 46. 

51.  See Sarah Kessler, “Companies Are Using Employee Survey Data to Predict—and Squash—Union Organizing,” OneZero, Medium, July 30, 2020; and Shirin Ghaffary and Jason Del Rey, “The Real Cost of Amazon,” Vox, June 29, 2020.  

出典:https://ainowinstitute.org/publication/algorithmic-management

Table of Contents