(The Hacker Factor Blog)One Bad Apple

Categories
< Back
You are here:
Print

(The Hacker Factor Blog)One Bad Apple

以下はDr. Neal Krawetz の The Hacker Factor Blog の記事の訳です。

2021年8月8日(日)
ここ数日、AppleのCSAMの発表について、私のメールボックスには洪水のようにメールが押し寄せている。私は写真解析技術と児童搾取資料の報告に深く関わってきたので、誰もが私の意見を求めているようだ。今回のブログでは、Appleが発表した内容、既存の技術、そしてエンドユーザーへの影響について説明する。さらに、アップルの疑わしい主張についても指摘していきたい。

免責事項:私は弁護士ではなく、これは法的なアドバイスではない。このブログのエントリーは、これらの法律についての弁護士ではない私の理解を含んでいる。

アナウンスメント

Appleは「Expanded Protections for Children」と題した発表の中で、児童搾取の防止に注力していることを説明している。

この文章は、Appleが児童性的虐待資料(CSAM)の拡散が問題であることを指摘することから始まっている。私も同感で、これは問題だと思う。私のFotoForensicsサービスでは、通常、1日に数件のCSAMレポート(または「CP」(児童ポルノの写真))をNational Center for Missing and Exploited Children(NCMEC)に提出している。(これは、連邦法に明記されている。18 U.S.C. § 2258a。 NMCECのみがCPの報告を受けることができ、18 U.S.C. § 2258A(e)では、サービス提供者がCPの報告を怠ることは重罪とされている)。私のサイトでは、ポルノやヌードを許可していない。なぜなら、そのようなコンテンツを許可しているサイトにはCPが集まるから。ユーザーを禁止し、コンテンツをブロックすることで、現在、ポルノはアップロードされたコンテンツの約2~3%に抑え、CPは0.06%以下に抑えている。

NCMECによると、私は2019年に608件、2020年に523件のレポートをNCMECに提出している。同じ年にAppleは各々205件、265件のレポートを提出した。Appleが私のサービスよりも多くの画像を受信していないわけでも、私が受信するよりも多くのCPを持っていないわけでもない。むしろ、気がつかないから報告しないのではないか。

Appleのデバイスは、写真の名前を非常にはっきりとした方法で変更する。(ファイル名のバリスティックは、それを実にうまく表現している) 私がNCMECに提出した報告書の中で、画像がAppleのデバイスやサービスに触れたと思われるものの数を見ると、Appleは非常に大きなCP/CSAM問題を抱えていると思う。

AppleのiCloudサービスはすべてのデータを暗号化しているが、Appleはその復号鍵を持っており、令状があればそれを使うことができる。しかし、iCloudの利用規約では、CSAMスキャナの開発などの研究プロジェクトで使用するために、Appleがあなたの写真にアクセスすることを認めるものはない。(Appleは新しいベータ機能を開発することはできるが、あなたのデータを恣意的に使用することはできない)実際、AppleはCSAMシステムのテストのためにあなたのコンテンツにアクセスすることはできない。

もしAppleがCSAMを取り締まりたいのであれば、あなたのAppleデバイスでそれを行わなければならない。これがAppleが発表した内容だ。iOS 15から、Appleはあなたのデバイス上で動作するCSAMスキャナを導入する。もしCSAMコンテンツに遭遇した場合、スキャナはそのファイルをAppleに送って確認してもらい、NCMECに報告する。(Appleは発表文の中で、彼らのスタッフが「一致するかどうかを確認するために各レポートを手動でレビューする」と書いている。コピーがない限り、手動で確認することはできない)

Appleが提案したCSAMソリューションの理由は理解できるが、その実装にはいくつかの重大な問題がある。

問題点1:検出

CPを検出するには、暗号、アルゴリズム/perceptual、AI/perceptual、AI/解釈など、さまざまな方法がある。これらの解決策がどれほど優れているかについては、多くの論文があるが、これらの方法はいずれも確実ではない。

暗号ハッシュによる解決法

MD5やSHA1のようなチェックサムを使って、既知の画像と一致させる暗号化ソリューションだ。新しいファイルが既知のファイルとまったく同じ暗号チェックサムを持っている場合、バイト単位で同一である可能性が非常に高くなる。既知のチェックサムが既知のCPに対するものであれば、人間が照合を確認しなくても、照合によってCPが特定される。(このように、人間が目にする不穏な画像の量を減らすことができれば、それに越したことはない)

2014年と2015年に、NCMECは、既知の不良ファイルを検出するために、既知のCPのMD5ハッシュをサービスプロバイダーに提供すると述べた。私は、検出を自動化するために、NCMECにハッシュセットを繰り返し要求した。最終的には(約1年後)、既知のCPに一致する約2万件のMD5ハッシュを提供してくれた。さらに、他の法執行機関からも約300万件のSHA1とMD5のハッシュが提供された。これは多いと思うかもしれないが、実際にはそうではない。たった1ビットの変更で、CPファイルが既知のハッシュと一致しなくなる。画像を単純に再エンコードすると、見た目には同じ内容であっても、チェックサムが違ってくる。

私がFotoForensicsでこれらのハッシュを使用してきた6年間に、300万個のMD5ハッシュのうち5個しか一致しなかった。(さらに、そのうちの1つは間違いなく偽陽性だった。(その偽陽性は、完全に服を着た男性が猿、たぶん赤毛ザルを抱いているものだ。子どもはいないし、ヌードもない)この5つのマッチに基づいて、私は暗号ハッシュの20%がCPとして誤って分類された可能性が高いと理論的に考えることができる。 (もし私がDefconで講演することがあれば、メディアにこの写真を掲載するだろう。CPスキャナがDefconのDVDをCPのソースとして誤ってフラグを立てるようにするために。(すみません、ジェフさん!)

perceptual hashによる解決策

(訳注:perceptual hash https://tech.unifa-e.com/entry/2017/11/27/111546
perceptual hashでは、似たような画像属性を探す。2つの写真の同じような領域に同じようなblobがあれば、その写真は似ている。これらのアルゴリズムがどのように機能するかについては、いくつかのブログエントリで詳しく紹介している。

NCMEC は、Microsoft が提供する PhotoDNA というperceptual アルゴリズムを使用している。NMCECは、この技術をサービスプロバイダーと共有していると主張している。しかし、その取得方法は複雑だ。つまり、

1. NCMECにPhotoDNAの提供を依頼する。
2. NCMECが最初の要求を承認した場合、NDAが送られてくる。
3. あなたはNDAに記入してNCMECに返送する。
4. NCMECは再度検討し、署名し、完全に署名済のNDAをあなたに返送する。
5. NCMECは、あなたの使用モデルとプロセスをレビューする。
6. レビュー終了後、あなたはコードとハッシュを受け取る。

FotoForensics のおかげで、私はこのコードを合法的に使用することができる。私は、アップロードプロセス中にCPを検出し、ユーザーを直ちにブロックし、NCMECに自動的に報告したいと考えている。しかし、何度も(何年にもわたって)依頼しても、NDAの段階を通過することはできなかった。2回ほどNDAが送られてきて署名したが、NCMECはこれに署名をせず、私のステータス要求にも応じなくなった。(私は何もしていないわけではない。NCMECのレポートプロバイダーのリストを、2020年の提出数でソートすると、私は168人中40位になる。2019年は148人中31位だ)

NCMECはPhotoDNAを企業秘密として扱っていたので、私はMicrosoftが発表したいくつかの論文を使ってアルゴリズムをリバースエンジニアリングすることにした(1つの論文には仕組みが書かれていないが、彼らのマーケティングの宣伝文句やハイレベルなスライドの束から仕組みをつなぎ合わせた)。コードを持っている他のプロバイダーが、私のハッシュを使って写真を正しく照合できたので、私が正しく実装したことがわかった。

おそらく、本当に技術的な人たちにPhotoDNAを見てもらいたくないという理由があるのだろう。マイクロソフトは「PhotoDNAのハッシュは可逆的ではない」と言っている。それは真実ではない。PhotoDNAのハッシュは、26×26のグレースケール画像に映し出すことができ、少しぼやける程度だ。26×26は、ほとんどのデスクトップのアイコンよりも大きく、人や物を認識するのに十分なディテールである。PhotoDNAのハッシュを元に戻すことは、26×26のナンプレパズルを解くのと同じくらい複雑ではなく、コンピュータに適した作業なのだ。

私はPhotoDNAに関するホワイトペーパーを作成し、NCMEC、ICMEC(NCMECの国際的なカウンターパート)、いくつかのICAC、いくつかの技術ベンダー、そしてMicrosoftに内々に配布した。フィードバックをしてくれた数人は、ホワイトペーパーで指摘されているPhotoDNAの限界を非常に気にしていた。私がホワイトペーパーを公開しなかったのは、アルゴリズムをリバースさせる方法(疑似コードを含む)が書かれているからだ。もし誰かがNCMECのハッシュを写真にリバースさせるコードを公開したら、NCMECのPhotoDNAのハッシュを持っている人は全員、児童ポルノを所持していることになってしまう。

AI perceptual hashによるソリューション

perceptual hashでは、アルゴリズムが既知の画像属性を識別する。AI による解決策も同様だが、属性を先験的に知るのではなく、AI システムを使用して属性を「学習」する。例えば、何年も前に、中国の研究者がAIを使ってポーズを識別していた。(AVではよく見られるが、非AVでは見られないようなポーズがある)これらのポーズが属性となる。(彼のシステムがうまくいったかどうかは聞いないが)

AIの問題点は、AIがどのような属性を重要視しているのかわからないことだ。大学時代、私の友人たちは、顔写真から男性と女性を識別するAIシステムを教えようとしていた。AIが学んだ主なことは、男性には顔の毛があり、女性には長い髪がある、だった。唇がぼんやりしている女性は「男性」で、髪の長い男性は「女性」であると判断したのだ。

アップルによると、彼らのCSAMソリューションは、NeuralHashと呼ばれるAI perceptual hashを使用しているという。彼らは技術論文といくつかのテクニカルレビューを掲載し、ソフトウェアが広告通りに動作すると主張している。しかし、ここには重大な懸念がある。

1. 査読者には、暗号の専門家(私は暗号には何の懸念もない)や、少しばかりの画像解析の専門家が含まれている。しかし、レビュアーの中には、プライバシーの専門家はいない。また、合法性について言及しているが、彼らは法律の専門家ではない(そして、いくつかの重大な法的問題を見逃している)

2.  Appleのテクニカルホワイトペーパーは、過度に技術的であり、しかも実装を確認するのに十分な情報を提供していない。(この種の論文については、私のブログエントリー「Oh Baby, Talk Technical To Me」の「Over-Talk」で取り上げている)実質的には、煩雑な記法による証明となっている。これは、「技術的に優れているように見えるなら、それは本当に優れているに違いない」という、よくある誤謬を引き起こす。同様に、Appleの審査員の1人は、数学記号と複雑な変数でいっぱいの論文を書いた。(しかし、その論文は印象的なものでした。子どもたちよ、数学的な証明とコードレビューは同じではないことを覚えておこう)

3. Appleは、「特定のアカウントに誤ってフラグを立てる確率は、年間で1兆分の1」だと主張している。私はこれをデタラメだと思っている。

Facebookは最大のソーシャルメディアサービスのひとつだ。2013年当時、1日あたり3億5000万枚の写真を受け取っていた。しかし、Facebookは最近の数字を発表していないので、推定するしかない。2020年にFotoForensicsが受信した写真は931,466枚、NCMECに提出したレポートは523件で、これは0.056%だ。同じ年に、Facebookは20,307,216件のレポートをNCMECに提出した。もしFacebookが私と同じ割合で報告していると仮定すると、2020年にFacebookが受け取った写真は約360億枚ということになる。そのペースでいくと、1兆枚の写真を受け取るのに約30年かかることになる。

私が見たすべての報告によると、FacebookはAppleよりもアクセス可能な写真を持っている。覚えておいほしいが、Appleは、iCloud上のユーザーの写真にはアクセスできないと言っているので、テスト用の1兆枚の写真にアクセスできるとは思えない。では、他にどこで1兆枚の写真を入手できるのでか?

  • ランダムに生成されたもの。ランダムに生成された写真に対するテストは、人が撮った写真に比べて現実的ではない。
  • 動画。ビデオのフレームを使ったテストは、視覚的な類似性によるバイアスが大きい。
  • ウェブクローリング[訳注:検索ロボットがインターネット上の情報を収集するためにウェブサイトを定期的に巡回すること]。ウェブのスクレイピング[訳注:Webサイトから情報を取得するソフトウェア技術]は有効だが、私のウェブログではAppleのボットがスクレイピングを行っている様子はほとんど見られない。もしスクレイピングを行っているとしたら、1兆枚の写真を考慮するのに十分な速さで収集していないことになる。
  • パートナーシップ。写真を提供する何らかのパートナーシップがあるのかもしれない。しかし、そのようなアナウンスは見たことがない。また、このような大規模なライセンスにかかる費用は、おそらく年次株主報告書に記載されるだろう。(しかし、このような開示は見たことがない)
  • NCMEC。NCMECの2020年のサマリーレポートでは、2020年に6,540万ファイルを受信したとしている。NCMECは1984年に設立された。毎年同じ数のファイルを受け取ったと仮定すると(大げさだが)、約25億個のファイルを持っていることになる。NCMECには、Appleと共有できる1兆個の事例があるとは思えない。

もしかしたらAppleは、「1兆分の1」という見積もりを、ハッシュのビット数に基づいて行っているのではないだろうか?

  • 暗号ハッシュ(MD5、SHA1など)では、ビット数を使って衝突の可能性を特定することができる。もしその確率が「1兆分の1」であれば、そのアルゴリズムはハッシュに約40ビットを使っていることになる。しかし、ハッシュのビットサイズを数えることは、perceptual hashでは通用しない。
  • perceptual hashでは、特定の属性がどのくらいの頻度で写真に現れるかが問題となる。これは、ハッシュのビット数を見るのとは違う。(車の写真が2枚あっても、perceptual hashは異なる。同じような犬を同じような角度で撮った写真は、同じようなハッシュになる。また、白い壁の写真は2枚ともほぼ同じになる)
  • AppleのNeuralHashのようなアルゴリズムを含むAI駆動のperceptual hashでは、属性がわからないため、可能性を直接検証することはできない。唯一の現実的な解決策は、視覚的に異なる多数の画像を通過させてテストすることだ。しかし、先に述べたように、Appleが1兆枚もの画像を入手できるとは思えない。

実際のエラーレートはどのくらいなのか?私たちにもわからない。Appleにもわからないようだ。そして、わからないからこそ、彼らは本当に大きな数字を出したように見える。私の知る限り、Appleの主張する「1兆分の1」は根拠のない推定値だ。この点で、Appleは自分たちのアルゴリズムに誤解を招くような裏付けをし、誤解を招くような精度を提供している。

AIによる解釈ソリューション

AIによる解釈ソリューションは、AIを使って文脈的な要素を学習しようとするものだ。人、犬、大人、子供、服など。AIシステムは識別ではかなり進歩しているが、CSAMの写真を識別するには今の技術では不十分だ。また、非常に多くのリソースが必要になる。もし文脈に沿った解釈が可能なCSAMスキャナーがiPhone上で動作したとしたら、バッテリーの寿命は劇的に短くなる。充電しても数時間しか持たないのではないか。

幸いなことに、Appleはこのような解決策をとっていない。Appleは、AIによるperceptual hashのソリューションに注力している。

問題点2:法的問題

Appleが最初にCSAMを発表して以来、Appleがあなたのファイルをスキャンしたり、暗号化されたデバイスのコンテンツにアクセスしたりすることに焦点を当てた記事をたくさん見てきた。個人的には、これは気にならない。ドライブのロックが解除されたときにデバイスをスキャンするアンチウィルス(AV)ツールがあり、すべてのコンテンツを目録化するファイルインデックスシステムがある。デバイス上のファイルを検索すると、事前に計算されたファイルインデックスにアクセスする。(AppleのSpotlightやMicrosoftのCortanaを参照)

どのAVを使うかは、ユーザーであるあなたに選択権があるのに対し、Appleは選択権を与えていないと主張することができる。しかし、MicrosoftはDefenderを同梱している。(同様に、私のAndroidにはMcAfeeが搭載されている。(オフにする方法がわかりません!)

Appleのソリューションで気になるのは、疑わしいコンテンツを見つけた後の対応だ。インデックスサービスでは、インデックスがデバイスに残ります。AVシステムでは、潜在的なマルウェアは隔離されるが、デバイスには残る。しかし、CSAMではどうか?アップルはこう言う

閾値を超えた場合にのみ、暗号技術によってアップルは、一致するCSAM画像に関連付けられた安全保証書の内容を解釈する。その後、Appleは各報告書を手動で確認して一致することを確認し、ユーザーのアカウントを無効にし、NCMECに報告書を送信する。

一致したものを手動で確認するためには、コンテンツにアクセスできなければならない。つまり、コンテンツをアップルに転送しなければならない。しかも、アップルの技術評論家の一人が書いているように、「ユーザーはシステムから直接のフィードバックを得られないため、自分の写真がCSAMのデータベースにマッチしているかどうかを直接知ることはできない。」 このことは、違法な検索と児童搾取資料の違法な収集という2つの大きな問題につながる。

違法な検索

前述のように、Appleは、CSAMの素材を探すためにあなたのAppleデバイスをスキャンすると言っている。一致すると思われるものが見つかれば、それをAppleに送るということだ。問題は、どの写真がAppleに送られるのかわからないことだ。企業の機密情報を持っていても、Appleは黙ってそのコピーを取ってしまうかもしれない。児童搾取事件を捜査するために法的機関と協力しているかもしれないし、Appleはひそかに証拠のコピーを取ることになるだろう。

繰り返すが、デバイスをスキャンすることはプライバシー上のリスクではないが、何の予告もなくデバイスからファイルをコピーすることは、間違いなくプライバシー上の問題だ。

こんな風に考えてみてほしい。大家はあなたの住宅を所有しているが、米国では大家はいつでも好きな時に立ち入ることはできない。家主が立ち入るためには、許可を得ているか、事前に通知しているか、または理由がなければならない。それ以外の理由であれば不法侵入となる。さらに、家主が何かを物を取れば、それは窃盗だ。アップル社のライセンス契約では、アップル社がOSを所有していることになっているが、だからといって、好きなときに検索したり、コンテンツを取ったりする許可は与えられていない。

違法なデータ収集

CSAMに関連する法律は非常に明確だ。18 U.S. Code § 2252は、CSAM素材を故意に転送することは重罪であると述べている(唯一の例外である2258Aでは、NCMECに報告される場合) このケースでは、Appleは彼らがCSAM素材を転送しており、それをNCMECではなくAppleに送っていると信じるきわめて強力な理由がある。

AppleがそれをチェックしてNCMECに転送することは問題ではない。18 U.S.C. § 2258Aは具体的で、データはNCMECにしか送ることができない。(2258A条では、サービス・プロバイダーがCPの写真を警察やFBIに渡すことは違法であり、NCMECにしか送ることができない。NCMECが警察やFBIに連絡する)。アップルが詳細に説明したのは、CSAMであると強く信じる理由のある素材を意図的に配布(Appleに)、収集(Appleで)、アクセス(Appleで閲覧)したことだ。弁護士から説明を受けたが、これは重罪になる。

FotoForensicsでは、シンプルなプロセスを採用している。

  1. 人々が写真をアップロードすることを選択する。私たちはあなたのデバイスから写真を収集することはない。

2. 私の管理者がアップロードされたコンテンツを確認するとき、CPやCSAMを見ることは期待していない。CPやCSAMは、アップロードされたコンテンツの0.06%にも満たないため、「知っていて」見ているわけではない。さらに、私たちのレビューでは、さまざまな研究プロジェクトのためにたくさんの種類の写真をカタログ化している。CPはそのような研究プロジェクトの一つではない。意図的にCPを探しているわけではない。

3. CP/CSAMを見つけたら、すぐにNCMECにだけ報告する。
私たちは法律に従っている。Appleが提案していることは、法律に従っていない。

反発の声

Appleが発表してから数時間、多くのメディアで報道され、技術者コミュニティからも多くの意見が寄せられたが、その多くは否定的なものだった。いくつか例を挙げてみよう。

  • BBC: 「Apple、児童虐待を検知するシステムを批判される」
  • Ars Technica: 「Apple、iPhoneが写真をスキャンして児童性的虐待画像を検出する方法を説明」
  • EFF: 「暗号化についてのAppleの “Think Different “計画は、あなたの私生活にバックドアを開くことになる」
  • The Verge: 「WhatsAppのリードや他の技術専門家がAppleのChild Safety計画に反撃」

これに続いて、NCMECからAppleへのものとされるメモのリークがあった。

私は、CSAM、CP、児童搾取に関する問題を理解しており、このテーマの会議で話したこともある。私は報告義務者であり、Apple、Digital Ocean、Ebay、Grindr、Internet Archiveよりも多くの報告書をNCMECに提出している。(私のサービスがより多くの報告を受けているのではなく、私たちがより警戒して検出し報告しているのだ)私はCPの愛好者ではない。より良い解決策を歓迎するが、Appleの解決策はあまりにも侵略的で、法律の文言と意図の両方に違反していると考えている。もしAppleとNCMECが私を「少数派の悲鳴のような声」の一つと見なしているなら、彼らは耳を傾けていないことになる。

Update 2021-08-09: 広範な批判を受けて、AppleはすぐにFAQを公開した。このFAQは、当初の発表と矛盾していたり、二枚舌を含んでいたり、重要な詳細を省略している。例えば、以下のようなものだ。

  • FAQでは、メッセージにアクセスしないとしているが、メッセージをフィルタリングして画像をぼかしているとも言っている。(コンテンツにアクセスしないで、どうやってフィルタリングの対象を知ることができるのか?)
  • FAQによると、CSAMのためにすべての写真をスキャンするのではなく、iCloud用の写真だけをスキャンするとのことだ。しかしAppleは、デフォルトの設定ではすべての写真のバックアップにiCloudを使用していることには言及していない。
  • FAQによると、Appleは人々に手動でレビューを行わせるため、NCMECへの誤認識の報告はないとしている。まるで人がミスをしないかのようだ。

これは、FAQの問題点の完全なリストからはほど遠いものだ。このブログエントリで提起された懸念事項のいずれもFAQは解決していない。

出典:https://www.hackerfactor.com/blog/index.php?/archives/929-One-Bad-Apple.html

付記:下訳にhttps://www.deepl.com/ja/translatorを用いました。

Table of Contents