Appleは、macOSとiOSのネイティブ機能をより明確に強調し、ユーザーのデバイスを「自分らしく」使えるようにし、誰もが「素晴らしいものを作る」ことを奨励するために、アクセシビリティランディングページを全面的にリニューアルしました。AppleのアクセシビリティおよびAI/MLエンジニアへの新たなインタビューでは、iOS 14におけるアクセシビリティ向上への同社のアプローチについて、より詳細に説明しています。

iOSアクセシビリティエンジニアのChris Fleizach氏とAI/MLチームメンバーのJeff Bigham氏が、AppleがiOS 13から14へのアクセシビリティ機能の進化をどのように考えていたか、そしてこれらの目標を達成するためにどのようなコラボレーションが必要だったかについて、TechCrunchに語った。

アクセシビリティに関して、今秋のiOS 14における最大の改善点の一つは、新しい画面認識機能です。これは、VoiceOverをさらに進化させ、「デバイス上のインテリジェンスを活用して画面上の要素を認識し、アプリとWebエクスペリエンスにおけるVoiceOverのサポートを向上」させます。

Apple はスクリーン認識について次のように説明しています:

スクリーン認識は、インターフェースコントロールを自動的に検出し、アプリの操作を支援します。

画面認識機能は、「デバイス上の知能と連携して、アラームなどの重要な音を検出して識別し、通知を使用して警告します。」

AppleのFleizach氏は、iOS 14でアクセシビリティを向上させるというAppleのアプローチと、画面認識によってもたらされるスピードと精度について次のように説明しています。

「画像の説明など、アクセシビリティの向上に繋がる領域を探りました」とフライザック氏は述べた。「iOS 13ではアイコンに自動でラベルを付けるようになりましたが、画面認識機能はそれをさらに一歩前進させます。画面上のピクセルを見て、ユーザーが操作できるオブジェクトの階層を識別します。これらはすべてデバイス上でコンマ数秒以内に実行されます。」

ビッグハム氏は、VoiceOver の機能をスクリーン認識で超えるには、Apple のチーム間の連携がいかに重要であったかを指摘しています。

「VoiceOverは長年、視覚アクセシビリティの旗手として君臨してきました。Screen Recognitionの開発過程を見れば、アクセシビリティ担当チーム、データ収集とアノテーション担当のパートナー、AI/ML、そしてもちろんデザインなど、チーム間の連携が基盤となっていたことがわかります。これは、機械学習開発が優れたユーザーエクスペリエンスの実現に向けて継続的に前進していくためでした」とビッグハムは述べています。

そしてその作業は労働集約的なものでした。

これは、人気アプリやゲームのスクリーンショットを何千枚も撮影し、それらを標準的なUI要素の1つとして手動でラベル付けすることで実現しました。このラベル付けされたデータは機械学習システムに入力され、システムはすぐに同じ要素を独自に選択できるようになりました。

TechCrunchは、スクリーン認識機能がMacに搭載されるのは、本格的な取り組みが必要になるため、まだ期待できないと指摘しています。しかし、Appleの新型Macには同社製のカスタムM1 SoCが搭載されており、16コアのニューラルエンジンが搭載されているため、Appleがこのアクセシビリティ機能をいつ拡張しようとも、間違いなく対応できるはずです。

インタビュー全文はこちら、そしてAppleの新しいアクセシビリティランディングページもご覧ください。また、TCのMatthew Panzarino氏とAppleのChris Fleizach氏、そしてSarah Herrlinger氏によるアクセシビリティに関する対談もご覧ください。

havebin.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。