セキュリティ研究者が、Vision Proを狙った、かなり奇抜なエクスプロイトを発見しました。GAZEploitと呼ばれるこのエクスプロイトは、ビデオ通話中のアバターの目の動きを観察することで、Vision Proユーザーのパスワードを解読する手法です。

彼らは、アバターの目の動きを追跡することで、Vision Pro ユーザーが入力時に見ている仮想キーを正確に検出する方法を実演する YouTube ビデオ (下記) を作成しました。

Vision Pro をスタンドアロン デバイスとして入力する場合、ユニットには大きな仮想キーボードが表示され、視線追跡を使用して、ユーザーが仮想入力するときにどのキーを見ているかを検出します。

問題は、ビデオ通話中の場合、アバターの目が自分の目の方向を正確に反映し、攻撃者がアバターの目の動きを監視して、入力時に見ているキーを割り出すことができることです。

ニューラル ネットワークは、入力中でも機能します。

視線推定により注目すべきパターンが明らかになりました。 

• タイピングセッション中は視線の方向がより集中し、周期的なパターンを示す傾向があります。 
• タイピング中にまばたきの頻度が減少する

リカレント ニューラル ネットワーク (RNN) は、連続データ内のパターンを認識する必要があるタスクに適しています。

チームは 30 人の Vision Pro ユーザーの目の動きを分析し、非常に高い精度を達成することができました。

視線入力中、ユーザーの視線はキー間を移動し、クリックするキーを注視します。その結果、サッカード運動とそれに続く注視運動が発生します。サッカード運動とは、ユーザーが視線をあるオブジェクトから別のオブジェクトへと素早く動かす時間を指します。注視運動とは、ユーザーがオブジェクトをじっと見つめる時間を指します。 

視線軌跡の安定性を計算し、注視とサッカードを区別するための閾値を設定するアルゴリズムを開発しました。これらの高安定性領域における視線推定点をクリック候補として用います。データセットを用いた評価では、タイピングセッション中のキーストローク識別において、精度は85.9%、再現率は96.8%でした。

GAZEploit はパスワードの検出に加えて、Vision Pro ユーザーがビデオ通話中に入力したメッセージや Web サイトのアドレスをスパイすることもできました。

更新: Apple は、仮想キーボードの使用時にアバターをオフにすることでこの問題を解決しました。

下記のデモビデオをご覧ください。詳細については、こちらをご覧ください。

Wired経由。フレームグラブ: GAZEploit。

havebin.com を Google ニュース フィードに追加します。