Microsoft Research entwickelt eine Technologie, um Ihren Puls, Ihre Atmung und Ihren Herzrhythmus mit Ihrer Smartphone-Kamera zu lesen

Microsoft Research hat eine Technologie entwickelt das Consumer-Smartphone-Kameras für berührungslose physiologische Messungen in der Telemedizin und mehr nutzt.

In den letzten zehn Jahren haben Forscher entdeckt, dass zunehmend verfügbare Webcams und Handykameras in Kombination mit KI-Algorithmen als effektive Gesundheitssensoren eingesetzt werden können. Diese Methoden umfassen die Messung sehr subtiler Veränderungen im Erscheinungsbild des Körpers im Laufe der Zeit, in vielen Fällen für das bloße menschliche Auge nicht wahrnehmbare Veränderungen, um physiologische Informationen zu gewinnen.

Ein Team von Forschern von Microsoft Research, der University of Washington und OctoML hat zusammengearbeitet, um einen innovativen videobasierten Ansatz zur optischen kardiopulmonalen Vitalzeichenmessung auf dem Gerät zu entwickeln. Der Ansatz nutzt alltägliche Kameratechnologie (wie Webcams und mobile Geräte) und ein neuartiges Convolutional Attention Network namens MTTS-CAN, um Herz-Lungen-Messungen in Echtzeit auf mobilen Plattformen mit modernster Genauigkeit zu ermöglichen.

Physiologische Prozesse wie Durchblutung und Atmung verändern mit der Zeit ganz subtil das Erscheinungsbild des Körpers. Eine Smartphone-Kamera kann dieses reflektierte Licht aufnehmen, und die Änderungen der Pixelintensitäten im Laufe der Zeit können verwendet werden, um die zugrunde liegenden Quellen dieser Variationen (nämlich den Puls und die Atmung einer Person) zu ermitteln. Unter Verwendung optischer Modelle, die auf dem Wissen dieser physiologischen Prozesse basieren, kann ein Video einer Person verarbeitet werden, um ihre Pulsfrequenz, Atmung und sogar die Sauerstoffkonzentration in ihrem Blut zu bestimmen.

Die Technologie kann für alltägliche Dinge wie Fitness, Wohlbefinden und klinische Anwendungen eingesetzt werden. Für alltägliche Verbraucher könnte es die Heimüberwachung und das Fitness-Tracking bequemer machen. Ihr Laufband oder Ihr intelligentes Fitnessgerät für zu Hause könnte beispielsweise Ihre Vitalwerte während des Laufs kontinuierlich verfolgen, ohne dass Sie ein Gerät tragen oder die Daten synchronisieren müssen. Im klinischen Kontext könnten kamerabasierte Messungen einem Kardiologen ermöglichen, die Herzgesundheit eines Patienten über einen Videoanruf objektiver zu analysieren.

Die vielleicht naheliegendste Anwendung für die kamerabasierte physiologische Sensorik ist die Telemedizin. Das COVID-19-Virus wurde mit einem erhöhten Risiko für Myokarditis und andere schwere Herzerkrankungen in Verbindung gebracht, und Experten schlagen vor, dass dem kardiovaskulären und pulmonalen Schutz während der Behandlung besondere Aufmerksamkeit geschenkt werden sollte.

In den meisten Telemedizin-Szenarien haben Ärzte jedoch keinen Zugang zu objektiven Messwerten des Zustands eines Patienten, weil sie Signale wie die Vitalfunktionen des Patienten nicht erfassen können. Dies beunruhigt viele Patienten, weil sie sich Sorgen um die Qualität der Diagnose und Versorgung machen, die sie ohne objektive Messungen erhalten können. Ubiquitous Sensing könnte dazu beitragen, die Art und Weise, wie Telemedizin durchgeführt wird, zu verändern, und sie könnte auch dazu beitragen, Telemedizin als etablierte Form der Gesundheitsversorgung zu etablieren.

Schließlich ermöglicht die Fähigkeit, mit einer hohen Bildrate zu laufen, eine opportunistische Wahrnehmung (z. B. das Erhalten von Messungen jedes Mal, wenn Sie auf Ihr Telefon schauen) und hilft bei der Erfassung von Wellenformdynamiken, die zur Erkennung von Vorhofflimmern, Bluthochdruck und Herzfrequenzvariabilität verwendet werden könnten, wenn sie hoch sind -Frame-Raten (mindestens 100 Hz) sind eine Voraussetzung für präzise Messungen der Wellenformdynamik.

Alle Details sind im Paper des Teams „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement“ nachzulesen, das auf der 34th Conference on Neural Information Processing Systems (NeurIPS 2020) angenommen wurde und dort vorgestellt wird ein Spotlight-Gespräch am Montag, den 7. Dezember um 6:15 bis 6:30 Uhr (PT).