Apple の新しい特許出願では、視線追跡を使用して「ヘッドマウントディスプレイ」でビデオ AR 体験を実現する方法が説明されています…

Appleは、一般的にApple Glassesと呼ばれる拡張現実（AR）ヘッドセットの開発に取り組んでいると広く信じられています。この特許申請は、ARコンテンツに重ね合わせた現実世界の環境、つまり体験全体を動画撮影することに関するものです。

この特許では、カメラのレンズを物理的に動かして目の動きを追跡するのではなく、複数の画像センサーを使用し、センサー選択とデジタルズームを組み合わせて、見ているものを捉える方法について説明しています。

ヘッドマウントディスプレイは、ユーザーに仮想現実（VR）、拡張現実（AR）、または複合現実（MR）体験を提供するために使用されます。VRまたはMR体験の映像は、後で再生または分析するために記録される場合があります。視線追跡センサーは、被験者が現在どこを見ているかを示すために使用される場合があります[…]

本明細書で説明する主題は、1 つ以上の視線追跡センサー、1 つ以上の画像センサー、および、1 つ以上の視線追跡センサーを使用してキャプチャされた視線データにアクセスするように構成された処理装置を含むシステムに具体化することができる。処理装置は、1 つ以上の視線追跡センサーを使用してキャプチャされた視線データにアクセスするように構成された処理装置と、視線データに時間フィルタを適用して平滑化された視線推定を取得するように構成された処理装置と、平滑化された視線推定に基づいて関心領域を決定するように構成された処理装置とを含む。関心領域は、1 つ以上の画像センサーの視野のサブセットを識別する。関心領域は、1 つ以上の画像センサーを使用してキャプチャされたビデオ フレームにアクセスするように構成された処理装置と、関心領域に基づいてビデオ フレームに信号処理を適用して、強化されたビデオ フレームを取得するように構成された処理装置とを含む。

テキストには、このように目の動きを追跡するとビデオ映像がぎくしゃくする可能性があるため、それを滑らかにするオプションが含まれていると記載されています。

視線中心点に合わせて録画ボックスを移動すると、動画が揺れる場合があります。一部の実装では、視線中心点に加えてスムージングや安定化アルゴリズムを実行することで、録画された動画の揺れを回避し、より快適な録画を実現しています。

Apple Glassesに関する憶測の多くは、実質的にiPhoneのアクセサリであり、ARコンテンツはiPhoneからワイヤレスで送信されるというものでした。しかし、  Patently Appleは、この特許の範囲はそれよりも広いと指摘しています。

Appleは、スマートグラスはiPhone、iPad、MacBook、デスクトップコンピューター、スマートテレビ、スマートスピーカーなどで動作できるようになると述べている。

最近の報道によると、Apple Glasses 製品の発売日は早くても 2022 年で、それよりも後になる可能性もかなりあるようです。

ある報道によると、Apple社はこの種のデバイスが10年ほどでスマートフォンに取って代わると考えているようだが、私個人としてはApple GlassesはiPhoneではなくApple Watchの代わりになると考えている。

コンセプト画像: Martin Hajek/iDropNews

havebin.com を Google ニュース フィードに追加します。