Appleの写真アプリには、ライブラリ内の画像を検索したり、画像に写っているものについて詳しく知るための複数の機能が搭載されています。その一つが「拡張ビジュアル検索」です。ここでは、その仕組みと、Appleがユーザーのプライバシーをどのように保護しているかについて説明します。

ビジュアルルックアップと拡張ビジュアル検索

重要な違いの一つは、拡張ビジュアル検索がAppleのビジュアルルックアップ機能とどのように異なるかということです。ビジュアルルックアップはiOS 15で導入され、写真アプリ内のオブジェクト、ランドマーク、植物などを識別できるようになりました。

例えば、写真アプリで画像を上にスワイプすると、その画像に写っている犬の品種が分かります。服の洗濯表示や車のダッシュボードに表示されているランダムな記号の意味なども認識できます。

拡張ビジュアル検索はビジュアルルックアップとは別に存在します。ビジュアルルックアップは、現在見ている1枚の写真の詳細を検索するのに役立ちますが、拡張ビジュアル検索は、ランドマークや場所を検索する際にライブラリ内のすべての写真を検索するのに役立ちます。この機能は、写真に位置情報データが含まれていない場合でも機能します。

例えば、ライブラリで「ゴールデンゲートブリッジ」を検索すると、ライブラリ内の関連する画像が表示されます。この機能は、画像の背景にあるランドマークがぼやけてピントが合っていない場合でも機能します。

拡張ビジュアル検索はどのようにしてプライバシーを保護しますか?

今月初め、拡張ビジュアル検索がランドマークや興味のある場所を見つけるためにユーザーの位置情報をAppleに送信するというニュースが話題になりました。設定アプリでは、Appleは次のように説明しています。「このデバイスが、写真に写っている場所をAppleが管理するグローバルインデックスと非公開で照合することを許可します。これにより、ほぼすべてのランドマークや興味のある場所を検索できるようになります。」

当然のことながら、この機能がオプトインではなくオプトアウトであることから、プライバシーへの影響についての疑問が生じました。

しかし、Apple は、拡張ビジュアル検索が作動したときにユーザーのデータを保護する、よく考えられたプライバシー パイプラインを導入しているとのことです。

このプロセスは準同型暗号化と呼ばれるものから始まります。これは次のように機能します。

• iPhone はクエリをサーバーに送信する前に暗号化します。
• サーバーは暗号化されたクエリを操作し、応答を生成します。
• その応答は iPhone に送り返され、そこで復号化されます。

重要なのは、Appleの実装では、復号鍵はサーバーではなくデバイスのみが保有しているということです。そのため、サーバーは元のリクエストを復号できません。Appleは、拡張ビジュアル検索を含む様々な機能に準同型暗号を使用しています。

Appleは、拡張ビジュアル検索にプライベート最近傍検索（PNNS）と呼ばれる技術を採用しています。この機能により、ユーザーのデバイスは「Appleが管理する人気のランドマークや興味のある場所のグローバルインデックスに非公開でクエリを実行し、フォトライブラリに表示されている場所のおおよその一致を検索」できるようになります。

Apple が機械学習の Web サイトで概説している、拡張ビジュアル検索リクエストの完全なパイプラインは次のとおりです。

• デバイス上の機械学習モデルが写真を分析し、ランドマークが含まれる可能性のある「関心領域」（ROI）があるかどうかを判断します。
• モデルが ROI を検出すると、画像のその部分の「ベクトル埋め込み」を計算します。
• このベクトル埋め込みは暗号化され、サーバーのデータベースに送信されます。写真とピクセル自体はAppleに送信されるのではなく、「関心領域」の数学的表現が送信されます。
• Apple は、サードパーティが運営する OHTTP リレーと組み合わせた差分プライバシーを使用して、リクエストが Apple のサーバーに到達する前にデバイスの IP アドレスを隠します。
• また、クライアントは「本物のクエリと並行して偽のクエリを発行するため、サーバーはどれが本物か判断できません」。さらに、クエリは匿名化ネットワークを経由してルーティングされるため、サーバーは複数のリクエストを同じクライアントに関連付けることができません。
• サーバーは埋め込みデータの関連部分を識別し、ランドマーク名などの対応するメタデータをデバイスに返します。結果がiPhoneに返された後、サーバーはデータを保持しません。

たくさんの単語と頭字語が使われているが、これは同社がユーザーの写真に含まれる情報について何も知ることはできないというAppleの主張を裏付けている。

拡張ビジュアル検索を無効にするには、設定アプリを開き、「アプリ」をタップして「写真」をタップします。一番下までスクロールすると、拡張ビジュアル検索の切り替えボタンがあります。Appleによると、この切り替えボタンは主にデータ通信量が少ない地域で使用すべきとのことです。

拡張ビジュアル検索に関する詳しい情報:

• Appleエコシステムにおける機械学習と準同型暗号の融合
• 写真とプライバシー
• OHTTPリレー
• 差分プライバシー

Chance をフォロー: Threads、Bluesky、Instagram、Mastodon。 

havebin.com を Google ニュース フィードに追加します。