

更新:Apple はサーバー上での 2 回目のチェックについて言及しており、専門のコンピューター ビジョン会社がその可能性の 1 つを概説しています。これは、以下の「2 回目のチェックの仕組み」で説明されています。
AppleのCSAMシステムの初期バージョンは、開発者が一部をリバースエンジニアリングした結果、無害な画像にフラグを付けてしまうという被害に遭いました。しかしAppleは、実使用においてこのような事態を防ぐための追加的な保護策を講じているとしています。
最新の開発は、NeuralHash アルゴリズムがオープンソース開発者サイト GitHub に投稿され、誰でも実験できるようになった後に起こりました…
背景
すべてのCSAMシステムは、国立行方不明・被搾取児童センター(NCMEC)などの組織から、既知の児童性的虐待資料のデータベースをインポートすることで機能します。このデータベースは、画像から抽出されたハッシュ、つまりデジタル指紋の形で提供されます。
ほとんどのテクノロジー大手はクラウドにアップロードされた写真をスキャンしますが、Apple は顧客の iPhone 上で NeuralHash アルゴリズムを使用して、保存されている写真のハッシュを生成し、それを CSAM ハッシュのダウンロードされたコピーと比較します。
昨日、ある開発者がAppleのアルゴリズムをリバースエンジニアリングしたと主張し、そのコードをGitHubに投稿した。Appleはこの主張を事実上認めた。
GitHibへの投稿から数時間後、研究者たちはアルゴリズムを用いて意図的に誤検知(全く異なる2つの画像が同じハッシュ値を生成する)を作り出すことに成功しました。これは衝突と呼ばれます。
ハッシュは当然ながら画像の非常に簡略化された表現であるため、このようなシステムでは常に衝突のリスクが伴いますが、誰かがそれを非常に迅速に生成できたことに驚きが表明されました。
ここで意図的に作り出された衝突は、単なる概念実証です。開発者は、実稼働システムで誤検知を発生させるために必要となるCSAMハッシュデータベースにアクセスできませんが、衝突攻撃が原理的には比較的容易であることを証明しています。
アップルはこれに対して2つの保護策を講じているという。
Appleは、このアルゴリズムが自社システムの基盤となっていることを事実上認めたが、Motherboardに対し、これは最終版ではないと説明した。また、同社はこのアルゴリズムを秘密にするつもりはなかったとも述べた。
AppleはMotherboardへのメールで、GitHubのユーザーが分析したバージョンは汎用バージョンであり、iCloudフォトのCSAM検出に使用される最終バージョンではないと説明しました。また、アルゴリズムも公開したと述べています。
Appleの資料の1つには、「NeuralHashアルゴリズムは、署名されたオペレーティングシステムのコードの一部として組み込まれており、セキュリティ研究者はそれが説明どおりに動作することを確認できます」と書かれている。
同社はさらに、自社サーバー上で稼働する二次(秘密)マッチングシステムと手動によるレビューという2つのステップがあると述べた。
Apple社はまた、ユーザーが30件の一致基準を超えると、Appleのサーバー上で稼働する第2の非公開アルゴリズムが結果をチェックすると述べた。
「この独立したハッシュは、敵対的に撹乱された非CSAM画像によって、デバイス上で暗号化されたCSAMデータベースとの誤ったNeuralHash一致が発生し、一致しきい値を超えたという可能性が低いため、それを除外するために選択されています。」
2回目のチェックはどのように機能するか
Roboflow の Brad Dwyer 氏は、衝突攻撃の概念実証として投稿された 2 つの画像を簡単に区別する方法を発見しました。
これらの画像が、類似しつつも異なるニューラル特徴抽出ツールであるOpenAIのCLIPでどのように見えるのか興味がありました。CLIPはNeuralHashと同様の動作をします。画像を取り込み、ニューラルネットワークを用いて画像の内容に対応する特徴ベクトルのセットを生成します。
しかし、OpenAIのネットワークは、画像とテキストをマッピングできる汎用モデルであるという点で異なります。つまり、画像に関する人間が理解できる情報を抽出するために使用できるということです。
上記の2つの衝突画像をCLIPに通して、CLIPも騙されるかどうかを確認しました。端的に言うと、騙されませんでした。つまり、AppleはCLIPのような2つ目の特徴抽出ネットワークを、検出されたCSAM画像に適用して本物か偽物かを判別できるはずです。両方のネットワークを同時に騙す画像を生成するのははるかに困難でしょう。
人間によるレビュー
最後に、前述のとおり、人間による画像の確認が行われ、CSAM であるかどうかが確認されます。
あるセキュリティ研究者は、唯一の本当のリスクは、Apple に干渉しようとする誰かが、人間のレビュー担当者に誤検知を大量に送りつける可能性があることだと述べている。
「アップルは実際、ハッシュ関数を秘密にしておく必要がないようにこのシステムを設計した。『CSAMとしてハッシュされる非CSAM』に対してできることは、アップルの対応チームが分析パイプラインでそれらのゴミの誤検出を排除するフィルターを実装するまで、ゴミ画像で彼らを困らせることだけだからだ」とカリフォルニア大学バークレー校国際コンピュータサイエンス研究所の上級研究員、ニコラス・ウィーバー氏はオンラインチャットでマザーボードに語った。
Apple CSAM システムと、提起されている懸念事項の詳細については、当社のガイドをご覧ください。
写真: Alex Chumak/Unsplash
havebin.com を Google ニュース フィードに追加します。
FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。
