Microsoft Researchは、スマートフォンのカメラを使用して脈拍、呼吸、心臓のリズムを読み取る技術を開発しています

マイクロソフトリサーチ 技術を開発しました これは、遠隔医療などでの非接触の生理学的測定に消費者向けスマートフォンカメラを利用しています。

過去XNUMX年間で、研究者はAIアルゴリズムと組み合わせてますます利用可能なウェブカメラと携帯電話カメラが効果的な健康センサーとして使用できることを発見しました。 これらの方法は、生理学的情報を回復するために、時間の経過に伴う体の外観の非常に微妙な変化、多くの場合、人間の肉眼では知覚できない変化を測定することを含みます。

Microsoft Research、ワシントン大学、およびOctoMLの研究者チームが協力して、革新的なビデオベースのオンデバイス光心肺バイタルサイン測定アプローチを作成しました。 このアプローチでは、日常のカメラ技術（Webカメラやモバイルデバイスなど）とMTTS-CANと呼ばれる新しい畳み込み注意ネットワークを使用して、モバイルプラットフォームで最新の精度でリアルタイムの心肺測定を可能にします。

血流や呼吸などの生理学的プロセスは、時間の経過とともに体の外観を非常に微妙に変化させます。 スマートフォンのカメラはこの反射光を捉えることができ、時間の経過に伴うピクセル強度の変化を使用して、これらの変動の根本的な原因（つまり、人の脈拍と呼吸）を回復できます。 これらの生理学的プロセスの知識に基づいた光学モデルを使用して、人のビデオを処理して、脈拍数、呼吸、さらには血液中の酸素濃度を測定することができます。

このテクノロジーは、フィットネス、健康、臨床応用などのありふれたものに使用できます。 日常の消費者にとって、それは家の監視とフィットネスの追跡をより便利にする可能性があります。 トレッドミルやスマートな在宅フィットネス機器は、たとえばデバイスを着用したりデータを同期したりしなくても、ランニング中にバイタルを継続的に追跡できます。 臨床の文脈では、カメラベースの測定により、心臓専門医はビデオ通話を通じて患者の心臓の健康状態をより客観的に分析することができます。

おそらく、カメラベースの生理学的センシングの最も明白なアプリケーションは遠隔医療です。 COVID-19ウイルスは、心筋炎やその他の深刻な心臓（心臓）状態のリスクの増加に関連しており、専門家は、治療中の心血管および肺の保護に特に注意を払う必要があることを示唆しています。

ただし、ほとんどの遠隔医療シナリオでは、患者のバイタルサインなどの信号をキャプチャできないため、医師は患者の状態の客観的な測定値にアクセスできません。 これは多くの患者に関係します。なぜなら、彼らは客観的な測定なしで受けることができる診断とケアの質を心配しているからです。 ユビキタスセンシングは、遠隔医療の実施方法を変革するのに役立つ可能性があり、遠隔医療を医療の主流形態として確立するのにも貢献する可能性があります。

最後に、高いフレームレートで実行する機能により、日和見的なセンシング（たとえば、電話を見るたびに測定値を取得する）が可能になり、心房細動、高血圧、心拍数の変動を検出するために使用できる波形ダイナミクスをキャプチャできます。 -フレームレート（少なくとも100Hz）は、波形ダイナミクスの正確な測定値を生成するための要件です。

詳細はすべて、第34回神経情報処理システム会議（NeurIPS 2020）で承認され、 7月6日月曜日の午後15時6分から午後30時XNUMX分（PT）のスポットライトトーク。