macOS Monterey（macOS 12とも呼ばれる）は、ユーザー向けに数々の新機能を提供するだけでなく、開発者向けにも大幅な改善が施されています。サードパーティ製アプリに新たな可能性をもたらす全く新しいAPIが導入されています。その一つが「オブジェクトキャプチャ」で、iPhoneのカメラを使ってあらゆるオブジェクトの3Dモデルを簡単に作成できるようになります。

AppleはここしばらくAR技術の導入を推進してきましたが、3Dモデルの作成は一部の人にとっては必ずしも簡単ではないかもしれません。通常、3Dキャプチャを撮影するには高度なカメラが必要で、その後は専用ソフトウェアでレンダリングする必要があります。しかし、macOS MontereyとiOS 15によって状況は変わります。

Appleによると、Object Capture APIを使えば、3Dモデルのキャプチャとレンダリングのプロセス全体が数分で完了するそうです。この新機能を搭載したアプリはまだApp Storeには公開されていませんが、Appleはこの新しいAPIを使ってアプリをコンパイルする方法の例をいくつか提供しており、もちろん私も自分で試してみました。

要件

まず、深度データを取得するために、デュアルレンズリアカメラ（LiDARスキャナも搭載されていることが望ましいですが、必須ではありません）を搭載したiPhoneまたはiPadが必要です。このデモでは、iOS 15ベータ版を搭載したiPhone 12 Pro Maxを使用しました。Appleが提供するサンプルアプリでは、オブジェクトの画像を異なる角度から複数枚撮影する必要がありました。これにより、APIは3Dオブジェクトを360度でレンダリングできるようになります。

3Dモデルを作成するには約30枚の写真が必要ですが、Appleは高品質な結果を得るためにはそれ以上の写真を使うことを推奨しています。実際のシナリオでは、最適な照明条件、三脚、そしてオブジェクトの位置を変えずに自動的に回転させる機構も必要です。私はこれらのいずれも持っていないので、当然ながら品質は影響を受けます。

写真を撮影した後、macOS Monterey を搭載した Mac に送信し、3D モデルをレンダリングしました。iOS 15 と macOS 12 が一般公開されれば、このプロセスを簡単にするアプリが登場するでしょうが、今のところこの手順には Apple が提供している別のサンプルコードを使用しました。

Object Capture APIを使用すると、開発者とユーザーはオブジェクトを低品質または高品質でレンダリングできます。また、画像を順番に処理するか、AIを使用して各画像の順序を識別するか（後者の場合は処理に時間がかかります）を選択できます。興味深いことに、Appleによると、この3D処理APIには、16GBのRAMと少なくとも4GBのVRAMを備えたAMD GPUを搭載したIntel Mac、またはM1チップを搭載したMacが必要です。

結果

3分43秒後、エントリーレベルのM1 MacBook Airは40枚の画像をUSDZ形式の3Dオブジェクトにレンダリングしました。USDZ形式はAppleデバイスのARコンテンツで広く使用されています。iPhoneで画像をキャプチャし、Macでレンダリングするまでのプロセスは合計10分もかかりませんでした。

結果には驚きました。先ほども言ったように、写真撮影時の条件は理想的とは言えませんでしたが、Object Capture API によって非常にリアルな3Dモデルが作成されました。下の動画で実物との比較をご覧ください。

Apple の新しい API だけでなく、iPhone と Apple Silicon Mac の両方に、このようなコンテンツの作成を可能にするほど強力なハードウェアが搭載されているという事実にも驚かされます。

Appleは間違いなく新たな拡張現実（AR）の世界の創造に取り組んでおり、そのために必要な要素はすでにすべて揃っています。新しいObject Capture APIは、3Dモデルの作成を容易にするだけでなく、ARの普及を様々な形で促進すると確信しています。

新しい Object Capture API の詳細については、WWDC 2021 セッション「Object Capture で 3D モデルを作成する」をご覧ください。

havebin.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。