Apple Researchチームは、聴診器の録音から心拍数を推定できるかどうかを調査した、非常に興味深い研究を発表しました。AIモデルは、その目的のために特別に訓練されていないにもかかわらず、心拍数を推定できるかどうかが検証されました。端的に言えば、答えは「イエス」です。これは素晴らしいニュースです。その理由は次のとおりです。

簡単に言うと、研究チームは、音声や会話でトレーニングされた 6 つの一般的な基礎モデルを採用し、その内部の音声表現を使用して心音記録、つまり心音図から心拍数を推定する精度をテストしました。

重要なのは、これらのモデルが健康データ用に設計されたものではないにもかかわらず、結果が驚くほど安定していたことです。ほとんどのモデルは、従来の機械学習モデルで長年使用されてきた、手作業で構築された音声特徴量に依存する従来の手法と同等の性能を発揮しました。

しかし、最も興味深いのは、Apple 独自の社内モデル、つまり 300 万のオーディオ サンプルで社内トレーニングされた CLAP (Contrastive Language-Audio Pretraining) のバージョンが、実際にベースラインを上回り、さまざまなモデルの比較で最高の総合的パフォーマンスを実現したことです。

テストはどのように機能しましたか?

モデルは、専門家によって注釈が付けられた、公開されている 20 時間を超える実際の病院の心音データセットを使用して評価されました (これは優れた AI 研究とパフォーマンスの鍵となります)。

Appleはモデルを学習させるため、録音を5秒の短いクリップに分割し、1秒ずつ進めていった。その結果、約23,000個の心音の断片が得られた。Appleはこれを用いてニューラルネットワークを学習させ、心拍数を1分間の心拍数に分類できるようにした。

興味深いことに、AIの典型的な仮定に反する結果もいくつかありました。つまり、モデルが大きいほど必ずしもパフォーマンスが向上するわけではないということです。もう少し技術的に言えば、これらのモデルのより深い層では、言語に最適化されているためか、あまり有用でない心肺機能情報がエンコードされることがよくありました。浅い層または中間層の表現が最も効果的である傾向がありました。

これは今回の研究の重要な知見の一つです。Appleは、この種の分析を自社デバイスに導入する場合（そして、いつ導入するかはさておき）、これらのモデルのどこを調べ、どのレイヤーを使用すれば最も関連性の高い健康シグナルを抽出できるかを既に把握しているからです。

重要なポイント

この研究の重要なポイントの一つは、従来の信号処理と次世代AIを組み合わせることで、より信頼性の高い心拍数推定が可能になるという点です。つまり、一方のアプローチがうまくいかなかった場合でも、もう一方のアプローチがそのギャップを埋めることができたのです。基本的に、これら2つの手法は信号の異なる部分を拾い上げているのです。

研究者たちは今後、健康関連アプリケーション向けにモデルの改良を続け、低消費電力デバイスでも動作可能な軽量版を開発し、聴く価値のある他の身体関連の音も探究していく予定だと述べています。彼らの言葉を借りれば、それは次の通りです。

今後、我々は以下のことを計画しています。(i) 下流モデルの前で特徴連結を使用するか、モデル内で後期融合法を通じて音響特徴と FM 表現を組み合わせてパフォーマンスを向上させることを調査し、そのような方法が補完的な情報を取得でき、個々の変動に対してより堅牢であるかどうかを調査します。(ii) ドメインの不一致を減らすために FM を対象ドメインに合わせて微調整することを調査し、その結果、そのような適応がパフォーマンスの向上、HR 推定の課題の緩和、複雑な病理学的特徴の捕捉につながるかどうかを調査します。(iii) 病的状態を含む他の下流タスクや生理学的パラメータへの適用可能性を評価します。(iv) 臨床的に重要なデータをさらに増強および適応させます。(v) HeAR [30] などの他の生物音響基盤モデルと比較します。(vi) パフォーマンスを維持しながら計算コストを削減した展開可能なソリューションを実現するために、プルーニング、蒸留、軽量エンコーダー設計などのモデル簡素化戦略を検討します。

この研究は、もちろん臨床的な主張や製品化の約束はしていません。しかし、AppleがこれらのモデルをiPhone、Apple Watch、そして特にアクティブノイズキャンセリングにインイヤーマイクを採用しているAirPodsに組み込む可能性を考えると、その可能性は明らかです。AirPodsを装着中に自分の心臓の鼓動を耳の中で聞いたことがあるなら、私が何を言っているのかお分かりいただけるでしょう。

論文全文はarXivで読むことができます。

havebin.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。