iOS 13 では、Apple はマルチカメラ サポートを導入し、アプリが 1 台の iPhone または iPad 上の複数のマイクとカメラから同時に写真、ビデオ、オーディオ、メタデータ、深度をキャプチャできるようにします。

AppleはOS X Lion以来、macOSでのマルチカメラキャプチャを長らくサポートしてきたが、これまではハードウェアの制限によりiPhoneやiPad向けのAPIを展開することができなかった。

iOS 13 の新機能と API により、開発者は、たとえば前面カメラと背面カメラから同時にビデオ、写真、またはオーディオをストリーミングするアプリを提供できるようになります。

iOS 13 AVCaptureによるマルチカメラサポート 

AppleはWWDCでの新機能の発表で、メインカメラで録画しながら同時に前面カメラでユーザーを録画するピクチャーインピクチャービデオ録画アプリのデモを行った。

デモアプリでは、動画の録画と、写真アプリでの再生中に2つのカメラをリアルタイムに切り替える機能も搭載されています。この機能により、開発者はデュアルTrueDepthカメラを制御でき、必要に応じて背面広角カメラまたは背面望遠カメラの個別のストリームも利用できます。

新しいマルチカメラ機能は、iPhone XS、XS Max、XR、iPad Pro などの新しいハードウェアのみで iOS 13 でサポートされます。

Apple は、マルチカメラキャプチャーでサポートされているフォーマットをいくつかリストしました (上図)。開発者は、これがカメラの通常の機能と比べていくつかの人工的な制限を課していることに気付くでしょう。

モバイルデバイスの電力制限により、Macとは異なり、iPhoneとiPadではマルチカメラ撮影は1セッションのみに制限されます。つまり、複数のカメラで複数のセッションを実行したり、複数のアプリで複数のカメラを同時に使用したりすることはできません。また、サポートされるデバイスの組み合わせは多岐にわたり、特定のデバイスではどのカメラからのどのような組み合わせのキャプチャがサポートされるかが決まります。

Apple 自身が iOS 13 カメラ アプリで新しいマルチ カメラ機能を活用しているようには見えませんが、AVCapture で正式にサポートが開始されたので、近いうちに実現すると思われます。

セマンティックセグメンテーションマット

iOS 13のカメラ撮影機能には、セマンティックセグメンテーションマットも新たに追加されました。iOS 12では、Appleはポートレートモードの写真で被写体と背景を分離するために、「ポートレートエフェクトマット」と呼ばれる機能を社内で使用していました。iOS 13では、「セマンティックセグメンテーションマット」と呼ばれる機能を導入し、肌、髪、歯を識別し、開発者が利用できるAPIによってこれらのマップをさらに改善します。

AppleはWWDCセッションで、写真の被写体を背景から切り離し、髪の毛、肌、歯を分離してフェイスペイントや髪色の変更などのエフェクトを簡単に追加できるデモアプリで新技術を披露した（上の写真）。

開発者は、Apple の Web サイトでマルチカメラのサポートとセマンティック セグメンテーション マットの詳細を知ることができます。この Web サイトには、デモ アプリのサンプル コードも掲載されています。

havebin.com を Google ニュース フィードに追加します。