Apple が SharePlay をサポートする macOS 12.1 をリリースしたことを受けて、開発者の Jordi Bruin 氏は、聴覚障害やその他の障害を持つ人々が字幕やライブ翻訳を使用して FaceTime 通話に簡単に参加できるようにするユニバーサル アプリ、Navi をリリースしました。

海外旅行中にレストランのメニューをスキャンして翻訳するのに役立つ iOS アプリ Cibo を最近作成した Bruin 氏は、9to5Macに対して Navi の作成経緯を次のように語っています。

4 月にハッカソンに参加し、mixToTelephonyUplink API を操作して、音声が聞こえない人が電話で Text to Speech を使用して話せるようにしてみました (…) WWDC 中に SharePlay セッションを見て、文字起こしのアイデアを再び実現する方法をイメージし始めました。

Navi を使用すると、FaceTime クライアントはユーザーを次の点でサポートします。

• FaceTime通話に即座に字幕を表示
• 受信した字幕を20以上の言語にリアルタイムで翻訳します
• ピクチャーインピクチャーを中心とした経験構築
• macOSでは字幕はビデオウィンドウに直接オーバーレイされます
• 字幕はAppleのサーバーを通じてエンドツーエンドで暗号化される

翻訳可能な言語は、ポーランド語、トルコ語、タイ語、ウクライナ語、ドイツ語 (オーストリア)、フランス語 (スイス、フランス、カナダ)、フィンランド語、ベトナム語、イタリア語、スウェーデン語、ドイツ語、日本語、ポルトガル語 (ブラジル、ポルトガル)、スペイン語 (メキシコ、スペイン)、ノルウェー語、デンマーク語、クロアチア語、中国語 (繁体字、簡体字)、オランダ語、英語 (カナダ、南アフリカ、フィリピン、英国)、アラビア語 (サウジアラビア) の 20 言語です。

Bruin はこのアプリを、聴覚障害やその他の障害によりビデオ通話に容易に参加できない人々を支援するために作成しましたが、同じ言語を話さないけれどもリアルタイムの会話に参加する必要がある人々にとっても役立ちます。

SharePlayは、開発者がFaceTime通話で情報を受け渡すための非常にシンプルなAPIを追加します。情報はすべて暗号化され、遅延も非常に少ないです。(…)！TestFlightには500人以上が参加していましたが、テストには全員に電話をかける必要があったため、より良い方法を見つける必要がありました。結局、私は複数のデバイスから何度もFaceTimeで話しました。(…) そして、ライブ翻訳機能を使って、自分の言語を話さない人と会話ができることに、今でも感動することがあります。まるでSF映画のようです。

開発者は、これら 2 つのユーザー層を念頭に置き、Navi がリリースされて以来、聴覚障害やその他の障害を持つ人々のために Navi を改良し続けたいと考えています。

「TestFlight に参加した聴覚障害のあるユーザーからは、このアプリがすでに非常に役立っているという感想を聞きました。ですから、まずは、彼らの特定のニーズに合わせてアプリをより良く機能させるために追加できる点があれば、ぜひ彼らの意見を聞きたいと思っています。」

Navi を使用するには、FaceTime 通話を開始し、Navi を開いて、「字幕を有効にする」ボタンをタップして FaceTime 通話の他のユーザーを Navi に招待します。招待されたユーザーは SharePlay の招待を承認するだけです。

NaviはApp Storeで無料でご利用いただけます。年末までは字幕機能を追加料金なしでお試しいただけます。2022年には5回の無料通話が利用可能になり、その後は3.99ドルの一括払いが必要になります。ライブ翻訳機能を使用するには、通話パックを購入する必要があります。パック料金は5.99ドルからで、10万文字の翻訳が可能です。これは、話す速度にもよりますが、約1時間分の翻訳が可能です。

havebin.com を Google ニュース フィードに追加します。