昨日、iOS 13 ベータ 3 の面白い新機能の 1 つ、FaceTime アイコンタクト補正について報告しました。

現在、会話中の相手の顔を見るために画面を見ると、カメラが画面の上にあるため、相手はあなたの視線が下を向いているように見てしまいます。しかし、最新のiOS 13ベータ版では、「FaceTime Attention Correction（FaceTime視線補正）」という機能が追加されました。

これは、あなたの目の画像をリアルタイムで調整し、画面ではなくカメラを見ているように見せます。つまり、アイコンタクトをしているように見えるのです。

人々は、上記のような Will Sigmon の例をツイートしており、これは確かに体験に信じられないほどの違いをもたらすように見えます。

電話の相手だったマイク・ランドル氏は感銘を受けた。

https://twitter.com/flyosity/status/1146145234801307650

遠い将来に起こると予測される

ランドル氏は、2017年にこの機能が「数年後には」登場すると予測していたものの、既に実現していることに驚いているという。ちなみに、当時の彼の他の予測は以下の通り。

• 常時オンのカメラがiPhoneの近くにある3D空間のオブジェクトを継続的にスキャン、マッピング、追跡することで、iPhoneに周囲の状況を認識させます。
• ソフトウェアの予測を可能にする視線追跡により、ソフトウェア インターフェースの側面が完全に視線によって誘導されるようになります (Apple は 2017 年初めに、視線追跡技術の世界的リーダーである SensoMotoric Instruments を買収しました)。
• ユーザーの顔のカメラデータから得られる生体認証情報と健康情報（脈拍など）
• FaceTime通話では常に相手を見つめる目が映るようにする高度な画像操作アルゴリズム
• 機械学習の進歩により、iPhone の近くにある物体を瞬時に数えることができるようになりました(教室には何人いるのか、信号機と私の間には何台の車があるのか​​、テーブルの上には何本の鉛筆があるのか​​、クローゼットの中に何枚のシャツが折りたたまれているのか、など)。
• AR 定規などの特殊なものを必要とせずに、物体や空間の寸法を瞬時に測定します(壁の長さ、開口部の幅、ランプの高さなど)。

FaceTimeのアイコンタクト補正はARKitを使用

Dave Shukin 氏は、FaceTime のアイコンタクト補正に ARKit が使用されていると述べ、ビデオデモを投稿しました。

iOS 13 FaceTime Attention Correction の仕組み: ARKit を使用して顔の深度マップ/位置を取得し、それに応じて目を調整するだけです。

目と鼻の両方にかかる線の歪みに注目してください。pic.twitter.com/U7PMa4oNGN

— デイブ・シューキン (@schukin) 2019年7月3日

彼が眼鏡のつばを顔に滑らせると、その歪みが実際に見て取れます。まっすぐなつばは、彼の目線を調整する機能によって歪んでいます。

iOS 開発者 Gualtiero Frigerio 氏の言葉を繰り返すしかありません。

最近のテクノロジーは非常にクールで進歩しているので、このような機能の実装を「シンプル」という言葉で説明することができます。

開発者のアーロン・ブレイガー氏は、この機能は ARKit 3 API の 1 つに依存しているように見えるため、iPhone XS/Max と XR に限定され、iPhone X では動作しないと指摘しています。

havebin.com を Google ニュース フィードに追加します。