微软研究院开发技术以使用智能手机摄像头读取您的脉搏、呼吸和心律

微软研究院 开发了一项技术 它利用消费者智能手机摄像头在远程医疗等领域进行非接触式生理测量。

在过去十年中，研究人员发现越来越多的网络摄像头和手机摄像头与人工智能算法相结合，可以用作有效的健康传感器。 这些方法涉及测量身体外观随时间的非常细微的变化，在许多情况下，肉眼无法察觉的变化，以恢复生理信息。

来自微软研究院、华盛顿大学和 OctoML 的一组研究人员合作创建了一种创新的基于视频的设备上光学心肺生命体征测量方法。 该方法使用日常摄像技术（如网络摄像头和移动设备）和一种称为 MTTS-CAN 的新型卷积注意力网络，以最先进的精度在移动平台上进行实时心肺测量。

随着时间的推移，血液流动和呼吸等生理过程会非常微妙地改变身体的外观。 智能手机摄像头可以捕捉到这种反射光，像素强度随时间的变化可用于恢复这些变化的潜在来源（即人的脉搏和呼吸）。 使用基于这些生理过程知识的光学模型，可以处理一个人的视频，以确定他们的脉搏、呼吸，甚至血液中的氧气浓度。

该技术可用于日常事务，例如健身、健康和临床应用。 对于日常消费者来说，它可以让家庭监控和健身追踪更加方便。 例如，您的跑步机或智能家用健身设备可以在您跑步期间持续跟踪您的生命体征，而无需佩戴设备或同步数据。 在临床环境中，基于摄像头的测量可以使心脏病专家通过视频通话更客观地分析患者的心脏健康状况。

基于摄像头的生理传感最明显的应用可能是远程医疗。 COVID-19 病毒与心肌炎和其他严重心脏（心脏）疾病的风险增加有关，专家建议在治疗期间应特别注意心血管和肺部保护。

然而，在大多数远程医疗场景中，由于无法捕获患者生命体征等信号，医生无法获得对患者状况的客观测量。 这让许多患者感到担忧，因为他们担心在没有客观测量的情况下可以接受的诊断和护理质量。 无处不在的传感有助于改变远程医疗的实施方式，也有助于将远程医疗确立为医疗保健的主流形式。

最后，以高帧速率运行的能力可以实现机会感应（例如，每次看手机时获取测量值）并有助于捕获可用于检测心房颤动、高血压和心率变异性的波形动态。 - 帧速率（至少 100Hz）是产生波形动态精确测量的要求。

所有细节都可以在团队的论文“Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”中阅读，该论文已在第 34 届神经信息处理系统会议 (NeurIPS 2020) 上被接受，并将在7 月 6 日星期一下午 15:6-30:XNUMX（太平洋时间）的 Spotlight 演讲。