最近のiPhoneに搭載されているデュアルカメラシステムの目玉機能の一つがポートレートモードです。これは、写真の背景をインテリジェントにぼかすことで、一眼レフカメラのような浅い被写界深度をシミュレートするエフェクトです。AppleはiPhone Xでこの機能をさらに進化させ、ポートレートモードのセルフィー機能と、擬似的なポートレートライティングを導入しました。

これらの機能は現在静止画に限られていますが、将来のiPhoneでは、同じ技術を使って動画にも奥行き効果を加えることができるようになるかもしれません。これは、現在ではハイエンドのビデオ機材か、ポストプロダクションでの相当な作業によってしか実現できない、息を呑むような映像表現です。この機能は、iPhoneを本格的な映画制作ツールとして既に活用しているビデオグラファー、編集者、そして消費者にとって、ゲームチェンジャーとなる可能性があります。少しの努力で、この効果は今のiPhoneでも実現可能です。その方法をご紹介します。

現在、iPhoneでポートレートモードで写真を撮ると、画像に関連付けられた深度情報がグレースケールの深度マップとして保存されます。iOSはこの深度マップを使用して、写真のどの部分をぼかし、どの部分をフォーカスしたままにするかを決定します。これは、3Dアーティストが3Dレンダリングで被写界深度を偽装するのと同じ方法です。アニメーションソフトウェアが深度マップを作成し、それをレンダラーが解釈するのです。

現代の動画で同じ効果を実現したい場合、一般的な選択肢は2つあります。1つ目、そして最も簡単な方法は、高価なカメラと絞りの広いレンズにお金をかけることです。絞りの広いレンズこそが被写界深度を浅くするのです。

3Dレンダリングソフトウェアによって生成された深度マップ。暗い領域は焦点が合っており、明るい領域はぼかされています。

2つ目の、そしてより面倒な選択肢は、Adobe After Effectsなどのポストプロダクションソフトウェアを使用して、独自の深度マップやビデオマスクを作成し、シーンのどの部分に焦点を合わせるかを指定することです。これにはロトスコープと呼ばれる骨の折れる作業が伴う場合があり、これは多くの場合フレームごとに実行される、時間のかかる作業です。

iOS 11には、iPhoneのカメラで撮影された深度データへのアクセスを容易にする、改良された開発者フレームワークが含まれています。AppleはWWDC 2017で、AVCamPhotoFilterというサンプルアプリでこれらの新機能を披露しました。基本的に、これにより開発者はカメラから限られた解像度でストリーミング深度データを取得できるようになります。このサンプルアプリが、私のソリューションのベースとなっています。

AVCamPhotoFilter をインストールした iPhone X と、標準カメラアプリを起動した iPhone 7 Plus の両方を使い、レンズをできるだけ近づけて重ねました。それぞれのデバイスで同じシーンを撮影し、iPhone X の深度データをスクリーンキャプチャして、動く深度マップを作成しました。下の動画では、このプロセスと、その結果得られる深度効果をご覧いただけます。

両方の映像をAdobe After Effectsに取り込むと、カメラレンズブラーを適用し、After Effectsに深度マップのソースを指定することで、動画に浅い被写界深度を簡単に追加できました。これは基本的に、iOSが現在、舞台裏で深度データを処理しているのとほぼ同じです。

結果は完璧ではありませんが、手作業で深度マップを作成するのにかかる時間に比べればほんのわずかです。ソースビデオと深度データの両方が同じカメラレンズから取得されていれば、出力はより正確になりますが、AVCamPhotoFilterは両方を同時にキャプチャすることはできません。この回避策には大きな制限がありますが、最終的な結果は驚くほど、静止画の深度効果に匹敵するほど洗練されています。

現在のiPhoneハードウェアでポートレートモードを動画撮影用にロック解除するのは、おそらく困難でしょう。この機能は静止画撮影でも既に計算負荷が高いのですが、動画撮影ではさらに負荷が高くなります。Fabbyなどのサードパーティ製アプリケーションは、この効果をソフトウェアで完全に再現しようと試みていますが、説得力に欠けています。しかし、AppleのAシリーズチップとカメラハードウェアは毎年飛躍的に進化し続けているため、この機能の実現はそう遠くないかもしれません。

https://www.youtube.com/watch?v=REZl-ANYKKY

ポートレートモード動画の可能性は、単純な被写界深度効果をはるかに超えています。最終的には、同じデータを使って、AppleのテレビCMのように、動画でポートレートライティングをシミュレートできるようになるかもしれません。

深度データのクリエイティブな操作によって、ティルトシフト動画や、被写体をまるでグリーンスクリーンの前に立っているかのように瞬時にマスクするといった効果も実現できます。Appleは既にこの技術をiPhone XのClipsアプリの最近のアップデートで効果的に活用しており、「セルフィ​​ーシーン」機能では街のダウンタウンやスター・ウォーズのセットにいるような気分を味わえます。

最後に、ビデオ撮影用のポートレートモードは、iPhoneを映画制作に欠かせないツールとしてさらに確立する可能性があります。従来のカメラは深度データを全く取得できないため、iPhoneはハイエンドのビデオ機器に対しても即座に優位に立つことができます。

AppleはiPhoneのカメラへの注力を明確に示しており、iPhoneだけで撮影された短編映画に資金を提供し、新モデルごとにカメラの新機能開発に多大なエンジニアリングリソースを投入しています。ポートレートモード動画は、iPhoneを「最高のカメラ」というだけでなく、「最高のカメラ」という目標に一歩近づけるでしょう。

Apple のニュースをもっと知りたい場合は、YouTube の 9to5Mac をご覧ください。

havebin.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。