微軟研究院開發技術以使用智能手機攝像頭讀取您的脈搏、呼吸和心律

微軟研究院 開發了一項技術 它利用消費者智能手機攝像頭在遠程醫療等領域進行非接觸式生理測量。

在過去十年中，研究人員發現越來越多的網絡攝像頭和手機攝像頭與人工智能算法相結合，可以用作有效的健康傳感器。 這些方法涉及測量身體外觀隨時間的非常細微的變化，在許多情況下，肉眼無法察覺的變化，以恢復生理信息。

來自微軟研究院、華盛頓大學和 OctoML 的一組研究人員合作創建了一種創新的基於視頻的設備上光學心肺生命體徵測量方法。 該方法使用日常攝像技術（如網絡攝像頭和移動設備）和一種稱為 MTTS-CAN 的新型捲積注意力網絡，以最先進的精度在移動平台上進行實時心肺測量。

隨著時間的推移，血液流動和呼吸等生理過程會非常微妙地改變身體的外觀。 智能手機攝像頭可以捕捉到這種反射光，像素強度隨時間的變化可用於恢復這些變化的潛在來源（即人的脈搏和呼吸）。 使用基於這些生理過程知識的光學模型，可以處理一個人的視頻，以確定他們的脈搏、呼吸，甚至血液中的氧氣濃度。

該技術可用於日常事務，例如健身、健康和臨床應用。 對於日常消費者來說，它可以讓家庭監控和健身追踪更加方便。 例如，您的跑步機或智能家用健身設備可以在您跑步期間持續跟踪您的生命體徵，而無需佩戴設備或同步數據。 在臨床環境中，基於攝像頭的測量可以使心髒病專家通過視頻通話更客觀地分析患者的心臟健康狀況。

基於攝像頭的生理傳感最明顯的應用可能是遠程醫療。 COVID-19 病毒與心肌炎和其他嚴重心臟（心臟）疾病的風險增加有關，專家建議在治療期間應特別注意心血管和肺部保護。

然而，在大多數遠程醫療場景中，由於無法捕獲患者生命體徵等信號，醫生無法獲得對患者狀況的客觀測量。 這讓許多患者感到擔憂，因為他們擔心在沒有客觀測量的情況下可以接受的診斷和護理質量。 無處不在的傳感有助於改變遠程醫療的實施方式，也有助於將遠程醫療確立為醫療保健的主流形式。

最後，以高幀速率運行的能力可以實現機會感應（例如，每次看手機時獲取測量值）並有助於捕獲可用於檢測心房顫動、高血壓和心率變異性的波形動態。 - 幀速率（至少 100Hz）是產生波形動態精確測量的要求。

所有細節都可以在團隊的論文“Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”中閱讀，該論文已在第 34 屆神經信息處理系統會議 (NeurIPS 2020) 上被接受，並將在7 月 6 日星期一下午 15:6-30:XNUMX（太平洋時間）的 Spotlight 演講。