iOS 16 で導入された新機能のおかげで、拡張現実ショッピングがレベルアップしようとしています。新しい Apple RoomPlan API は、最近の iPhone Pro モデルの LiDAR スキャナーを使用して 3D の部屋プランを作成します。印象的な新しいデモでは、その機能が紹介されています。

Shopifyは、部屋をスキャンし、仮想的に空っぽにして、新しい家具を配置した際の見栄えを確認できる概念実証ツールを開発しました。また、ソファなどの特定のアイテムを取り外し、新しい家具を配置することも可能です。

聞き覚えがあるとすれば、それはイケアがすでに同じことをより粗雑な形で行っているからだ。しかし、当時私たちは、RoomPlan によって家具会社がより洗練されたアプリを作成できるようになる可能性が高いと指摘していた。

Shopifyのラス・マッシュマイヤー氏は、この機能に多くの関心が寄せられていると述べています。彼はこの機能を「部屋のリセットボタン」と呼び、その機能について説明しています。

ARを使えば新しいソファを簡単に試すことができますが、既に設置されているソファが邪魔になることもあります。もしすべての部屋にリセットボタンがあったらどうでしょう？Space Eraserは、部屋を構成するオブジェクト、そのサイズ、位置、向きをキャプチャし、高忠実度で空間をモデリングします。

ライブ ピクセル データと LiDAR 深度データを組み合わせることで、部屋のリアルなデジタル ツインを実現し、AR を使用して実際の空間に重ね合わせてデジタルで編集できるようになります。

空いている部屋があれば、買い物客は部屋のセットをスワイプして、既存の家具の向きを活用して自動的に配置できるようになりました。

部屋と家具のデジタルツインがあれば、元のソファをスワイプするだけで、部屋の残りの部分とよりよくマッチするオプションを探すことができます。

ここでリセットのプロセスを確認できます。

ここでは、部屋から個々のアイテムを削除します。

Maschmeyer 氏は、これをどのように作成したか、また、直面したいくつかの課題について語ります。

RoomPlanは、ドア、窓、壁、そして部屋を構成するオブジェクトごとに1つずつ、ユニットキューブで構成されたテクスチャなしのUSDZモデルを出力します。しかし、驚くべきことに、モデルには床や天井の要素は含まれていません。ARWorldMapを使用して、モデルを現実世界と位置合わせします。

RoomPlanはテクスチャのないモデルをエクスポートするため、自動的にテクスチャを適用する方法を検討しました。最良の方法は、キャプチャ時にテクスチャをローカライズしてマッピングすることですが、現状では位置合わせされたモデルとリアルタイムのカメラフィードで対応しています。

グラフィックスパイプラインを逆転させました。テクスチャからサンプリングして画面に書き込む代わりに、カメラからサンプリングしてテクスチャに書き込むのです。RealityKitではこれが困難だったため、代わりにSceneKitを使用しました。

このアプローチは、家具が表面を隠してしまう場合に問題を引き起こします。上の動画では、ソファが壁を隠しています。RoomPlanは、部屋を定義するオブジェクトの境界ボックス参照を提供します。これにより、テクスチャのどの部分を編集するかを決定できます。

修正されたテクスチャをインペインティング技術で埋めることができるようになりました。Photoshopやtheinpaint.comといった市販ツールで得られる結果には、嬉しい驚きを感じました。

ARと#RoomPlanは、商業活動にとって刺激的なツールです。シーンから現実のオブジェクトを選択したり削除したりできる機能は、完全に編集可能な現実に一歩近づきます。

私はARショッピングの大ファンです。お店に実際に行くような野蛮なことをしなくても、自宅に置いたらどんな感じになるか、実際に目で見て確かめられるからです。皆さんはどう思いますか？ぜひコメント欄でご意見をお聞かせください。

havebin.com を Google ニュース フィードに追加します。