The Vergeによると、iOS 13の開発者向けベータ版では、Appleの新しい写真処理システム「Deep Fusion」が追加されるという。Deep Fusionは、Appleが先月iPhone 11とiPhone 11 Pro向けに導入した新しいカメラ処理システムだ。[追記： Daring Fireballによると、iOS 13.2 beta 1は明日リリース予定]

Deep FusionはiPhone 11とiPhone 11 Proの機能として宣伝されていましたが、先月の発売時には利用できませんでした。Appleによると、Deep Fusion処理は「中～低照度画像」において最も重要になるとのことです。

しかし、Deep Fusionとナイトモードの違いは、Deep Fusionがユーザーから完全に見えないことです。つまり、バックグラウンドで動作していることは分かりませんが、画質がかなり向上していることに気づくはずです。AppleはThe Vergeに対し、これは戦略の一環であると述べています。

The Verge は、Deep Fusion の仕組みについて簡単に説明しています。

1. シャッターボタンを押すまでに、カメラはすでに高速シャッタースピードで3枚のフレームを撮影し、動きを捉えます。シャッターを押すと、さらに3枚のフレームを撮影し、さらに1枚の長めの露出でディテールを捉えます。
2. これら 3 つの通常ショットと長時間露光ショットが、Apple が「合成ロング」と呼ぶものに統合されます。これがスマート HDR との大きな違いです。
3. Deep Fusionは、最もディテールが鮮明な短時間露光画像を選択し、合成した長時間露光画像と合成します。スマートHDRとは異なり、Deep Fusionはこれら2枚のフレームのみを合成し、それ以上の合成は行いません。また、これらの2枚の画像は、スマートHDRとは異なる方法でノイズ処理され、Deep Fusionに適した方法で処理されます。
4. 画像はピクセルごとに4段階のディテール処理が施され、それぞれがディテールの量に応じて調整されます。空と壁は最も低い帯域、肌、髪、布地などは最も高い帯域です。これにより、2つの画像をどのようにブレンドするかについての一連の重み付けが生成されます。一方の画像からディテールを、もう一方の画像からトーン、トーン、輝度を抽出します。
5. 最終画像が生成されます。

撮影後、最初にカメラロールを開くと「プロキシ画像」が表示されますが、その間はDeep Fusionがバックグラウンドで動作しています。この処理はスマートHDRよりもわずか1秒長くかかるだけです。ただし、Deep Fusionはバーストモードでは動作しません。

フィル・シラー氏は先月Deep Fusionが初めて発表された際、「コンピュテーショナルフォトグラフィーのマッドサイエンス」と評しました。当時、AppleはDeep Fusionを今秋後半にリリースするとだけ発表していました。iPhone 11とiPhone 11 Proのカメラの初期成果は目覚ましいものですが、Deep Fusionはそれをさらに次のレベルへと押し上げる可能性を秘めています。

The Vergeには、Apple 提供の Deep Fusion 画像サンプルがいくつか掲載されています。

Deep Fusion を搭載した iOS 13 のベータ版はまだ提供されていませんが、おそらく iOS 13.2 の形ですぐに提供される予定です。

havebin.com を Google ニュース フィードに追加します。