Microsoft Research développe une technologie pour lire votre pouls, votre respiration et votre rythme cardiaque à l'aide de l'appareil photo de votre smartphone

Microsoft Research a développé une technologie qui utilise des caméras de smartphone grand public pour des mesures physiologiques sans contact en télésanté et plus encore.

Au cours de la dernière décennie, les chercheurs ont découvert que des webcams et des caméras de téléphones portables de plus en plus disponibles combinées à des algorithmes d'IA peuvent être utilisées comme capteurs de santé efficaces. Ces méthodes impliquent la mesure de changements très subtils dans l'apparence du corps au fil du temps, dans de nombreux cas des changements imperceptibles à l'œil humain sans aide, pour récupérer des informations physiologiques.

Une équipe de chercheurs de Microsoft Research, de l'Université de Washington et d'OctoML ont collaboré pour créer une approche innovante de mesure des signes vitaux cardio-pulmonaires optiques basée sur la vidéo. L'approche utilise la technologie des caméras de tous les jours (telles que les webcams et les appareils mobiles) et un nouveau réseau d'attention convolutif, appelé MTTS-CAN, pour permettre des mesures cardio-pulmonaires en temps réel sur des plates-formes mobiles avec une précision de pointe.

Les processus physiologiques tels que le flux sanguin et la respiration modifient très subtilement l'apparence du corps au fil du temps. Une caméra de smartphone peut capter cette lumière réfléchie, et les changements d'intensité des pixels au fil du temps peuvent être utilisés pour récupérer les sources sous-jacentes de ces variations (à savoir le pouls et la respiration d'une personne). À l'aide de modèles optiques fondés sur la connaissance de ces processus physiologiques, une vidéo d'une personne peut être traitée pour déterminer son pouls, sa respiration et même la concentration d'oxygène dans son sang.

La technologie peut être utilisée pour des choses banales telles que la forme physique, le bien-être et les applications cliniques. Pour les consommateurs de tous les jours, cela pourrait rendre la surveillance à domicile et le suivi de la condition physique plus pratiques. Votre tapis roulant ou votre équipement de fitness intelligent à domicile pourrait suivre en continu vos signes vitaux pendant votre course, par exemple, sans que vous ayez besoin de porter un appareil ou de synchroniser les données. Dans des contextes cliniques, les mesures par caméra pourraient permettre à un cardiologue d'analyser plus objectivement la santé cardiaque d'un patient via un appel vidéo.

L'application la plus évidente de la détection physiologique par caméra est peut-être la télésanté. Le virus COVID-19 a été associé à un risque accru de myocardite et d'autres affections cardiaques (cœur) graves, et les experts suggèrent qu'une attention particulière devrait être accordée à la protection cardiovasculaire et pulmonaire pendant le traitement.

Dans la plupart des scénarios de télésanté, cependant, les médecins n'ont pas accès à des mesures objectives de l'état d'un patient en raison de l'incapacité de capturer des signaux tels que les signes vitaux du patient. Cela concerne de nombreux patients car ils s'inquiètent de la qualité du diagnostic et des soins qu'ils peuvent recevoir sans mesures objectives. La détection omniprésente pourrait aider à transformer la façon dont la télésanté est menée, et elle pourrait également contribuer à faire de la télésanté une forme courante de soins de santé.

Enfin, la possibilité de fonctionner à une fréquence d'images élevée permet une détection opportuniste (par exemple, l'obtention de mesures chaque fois que vous regardez votre téléphone) et aide à capturer la dynamique de forme d'onde qui pourrait être utilisée pour détecter la fibrillation auriculaire, l'hypertension et la variabilité de la fréquence cardiaque lorsque la fréquence cardiaque est élevée. -les fréquences d'images (au moins 100 Hz) sont nécessaires pour obtenir des mesures précises de la dynamique de la forme d'onde.

Tous les détails peuvent être lus dans l'article de l'équipe, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", qui a été accepté lors de la 34e Conférence sur les systèmes de traitement de l'information neuronale (NeurIPS 2020) et sera présenté dans une conférence Spotlight le lundi 7 décembre de 6h15 à 6h30 (PT).