Appleがカメラ搭載ウェアラブルデバイスを発売する計画については、噂が尽きません。AI搭載ハードウェアの波が次々と押し寄せ、飽きられてしまうのも無理はありません。しかし、その混乱の中で見落とされがちな強力なユースケースが1つあります。それはアクセシビリティです。

Appleとコロンビア大学による新たな研究プロトタイプ、SceneScoutは、まだウェアラブルではない。しかし、視覚障碍者や弱視者にとってAIが将来どのような可能性を秘めているのかを示唆している。Appleとコロンビア大学の研究者たちは次のように説明している。

視覚障碍者（BLV）は、地形の不確実性から、見知らぬ場所での一人旅をためらうことがあります。多くのツールは現地でのナビゲーションに重点を置いていますが、旅行前の支援を模索しているツールは、ランドマークやターンバイターンの指示しか提供せず、詳細な視覚的背景が欠けているのが現状です。豊富な視覚情報を含み、多くの環境の詳細を明らかにする可能性のあるストリートビュー画像は、BLVの人々にとって依然としてアクセスが難しいものです。

このギャップを埋めるために、研究者たちは、Apple Maps API とマルチモーダル大規模言語モデルを組み合わせて、ストリートビュー画像のインタラクティブな AI 生成の説明を提供するこのプロジェクトを発表しました。

ユーザーは、ターンバイターン方式の道順やランドマークだけに頼るのではなく、自分のニーズや好みに合わせてカスタマイズされたストリートレベルの説明を使用して、ルート全体を探索したり、近所をブロックごとに仮想的に探索したりできます。

システムは主に 2 つのモードをサポートしています。

• ルートプレビュー：ユーザーは特定の経路でどのような状況に遭遇するかを事前に把握できます。具体的には、歩道の状態、交差点、目印、バス停の様子などを確認できます。

• バーチャル探索は、より自由度の高い機能です。ユーザーは探しているもの（公園にアクセスできる静かな住宅街など）を説明すると、AIがその意図に基づいて交差点をナビゲートし、あらゆる方向への探索を支援します。

舞台裏では、SceneScout は現実世界の地図データと Apple マップのパノラマ画像内に GPT-4o ベースのエージェントを構築します。

歩行者の視点をシミュレートし、見えるものを解釈し、構造化されたテキストを出力します。テキストは短、中、長の説明に分割されます。スクリーンリーダーを考慮して設計されたWebインターフェースは、これらすべてを完全にアクセス可能な形式で表示します。

最初のテストでは有望性が示されたが、重要な（そして危険な）欠点も示された。

研究チームは、視覚障碍者または弱視者 10 人を対象に調査を実施しました。彼らのほとんどはスクリーン リーダーに精通しており、技術系で働いていました。

参加者はルートプレビューとバーチャル探索の両方を利用し、その有用性と関連性において高い評価を得ました。特にバーチャル探索モードは高く評価され、多くの人が普段は他の人に聞かなければならないような情報にアクセスできたと回答しました。

それでも、重要な欠点はありました。生成された説明の約72%は正確でしたが、中には、横断歩道に音声信号がないのに音声信号があると主張したり、道路標識のラベルを誤って表示したりするなど、微妙な幻覚が含まれていました。

大半の情報は時間の経過とともに安定していましたが、いくつかの説明では、工事現場や駐車車両など、古くなった、または一時的な詳細が参照されていました。

参加者は、システムがユーザーの身体能力と環境自体の両方について、時折推測を行っている点を指摘しました。何人かのユーザーは、特に最後の1メートルのナビゲーションにおいて、より客観的な言語表現と空間精度の向上の必要性を強調しました。また、静的なキーワードに頼るのではなく、システムが時間の経過とともにユーザーの好みに合わせてより動的に適応することを望むユーザーもいました。

SceneScoutは明らかに製品化されておらず、リアルタイムのコンピュータビジョンベースのサイト内ナビゲーションではなく、マルチモーダルな大規模言語モデルとApple Maps APIの連携を探求しています。しかし、両者を結びつけることは容易です。実際、その点は研究の終盤で言及されています。

参加者は、歩きながらリアルタイムでストリートビューの説明にアクセスできることを強く望んでいました。彼らは、骨伝導ヘッドフォンや透過モードを通して視覚情報を表示し、移動中に関連情報を提供するアプリケーションを思い描いていました。P9は、  「なぜ（地図に）歩いている場所の詳細な情報を（提供するために）組み込むことができないのでしょうか」と述べました。

 参加者は、歩行中はランドマークや歩道の状態といった重要な詳細のみを強調した、 より短い 「ミニ」 （P1）説明を使用することを提案しました。より包括的な説明、つまり 長い説明は、ユーザーが歩行を中断したり交差点に到達したりした際に、必要に応じて表示できます。

別の参加者（P4）は、周囲の 状況を撮影するためにスマートフォンのカメラを物理的に向けるのではなく、 「デバイスを特定の方向に向ける」 だけで、オンデマンドで説明を受けられるという新しいインタラクション形式を提案しました。これにより、ユーザーは周囲の状況をリアルタイムで能動的に把握できるようになり、ナビゲーションがよりダイナミックで応答性に優れたものになります。

arXivに掲載されている他の研究と同様に、「SceneScout: Towards AI Agent-driven Access to Street View Imagery for Blind Users」は査読を受けていません。しかし、AI、ウェアラブル、そしてコンピュータービジョンが今後どこへ向かうのかを知りたいのであれば、読む価値は十分にあります。

AmazonでのAirPodsのセール

• AirPods Pro 2、USB-C充電：35%オフの159.99ドル
• AirPods（第3世代）: 88.15ドル
• AirPods 4、USB-C、ワイヤレス充電：17%オフの148.99ドル
• AirPods 4 USB-C充電：23%オフの99ドル
• AirPods Max、USB-C充電、ミッドナイト：18%オフの449.99ドル

havebin.com を Google ニュース フィードに追加します。