Microsoft Research ontwikkelt technologie om uw hartslag, ademhaling en hartritme te lezen met uw smartphonecamera

Microsoft Research heeft een technologie ontwikkeld die gebruikmaakt van smartphonecamera's voor consumenten voor contactloze fysiologische metingen in telezorg en meer.

In het afgelopen decennium hebben onderzoekers ontdekt dat steeds meer beschikbare webcams en mobiele camera's in combinatie met AI-algoritmen kunnen worden gebruikt als effectieve gezondheidssensoren. Deze methoden omvatten het meten van zeer subtiele veranderingen in het uiterlijk van het lichaam in de loop van de tijd, in veel gevallen veranderingen die niet waarneembaar zijn voor het blote menselijk oog, om fysiologische informatie te verkrijgen.

Een team van onderzoekers van Microsoft Research, University of Washington en OctoML hebben samengewerkt om een ​​innovatieve, op video gebaseerde, optische cardiopulmonale meetmethode voor vitale functies op het apparaat te creëren. De aanpak maakt gebruik van alledaagse cameratechnologie (zoals webcams en mobiele apparaten) en een nieuw convolutioneel aandachtsnetwerk, MTTS-CAN genaamd, om realtime cardio-pulmonale metingen mogelijk te maken op mobiele platforms met ultramoderne nauwkeurigheid.

Fysiologische processen zoals doorbloeding en ademhaling veranderen het uiterlijk van het lichaam in de loop van de tijd heel subtiel. Een smartphonecamera kan dit weerkaatste licht opvangen en de veranderingen in pixelintensiteiten in de loop van de tijd kunnen worden gebruikt om de onderliggende bronnen van deze variaties te achterhalen (namelijk iemands polsslag en ademhaling). Met behulp van optische modellen die gebaseerd zijn op de kennis van deze fysiologische processen, kan een video van een persoon worden verwerkt om hun hartslag, ademhaling en zelfs de zuurstofconcentratie in hun bloed te bepalen.

De technologie kan worden gebruikt voor alledaagse zaken zoals fitness, welzijn en klinische toepassingen. Voor dagelijkse consumenten zou het thuismonitoring en fitness-tracking handiger kunnen maken. Uw loopband of slimme fitnessapparatuur voor thuis kan bijvoorbeeld tijdens het hardlopen continu uw vitale functies bijhouden zonder dat u een apparaat hoeft te dragen of de gegevens hoeft te synchroniseren. In klinische contexten kunnen op camera's gebaseerde metingen een cardioloog in staat stellen om de hartgezondheid van een patiënt objectiever te analyseren via een videogesprek.

Misschien wel de meest voor de hand liggende toepassing voor op camera's gebaseerde fysiologische detectie is telezorg. Het COVID-19-virus is in verband gebracht met een verhoogd risico op myocarditis en andere ernstige hartaandoeningen (hartaandoeningen), en deskundigen suggereren dat er tijdens de behandeling bijzondere aandacht moet worden besteed aan cardiovasculaire en pulmonale bescherming.

In de meeste telezorgscenario's hebben artsen echter geen toegang tot objectieve metingen van de toestand van een patiënt vanwege het onvermogen om signalen zoals de vitale functies van de patiënt vast te leggen. Dit baart veel patiënten zorgen omdat ze zich zorgen maken over de kwaliteit van de diagnose en zorg die ze kunnen krijgen zonder objectieve metingen. Alomtegenwoordige detectie zou kunnen helpen de manier waarop telezorg wordt uitgevoerd te veranderen, en het zou er ook toe kunnen bijdragen dat telezorg een reguliere vorm van gezondheidszorg wordt.

Ten slotte maakt de mogelijkheid om met een hoge framesnelheid te werken opportunistische waarneming mogelijk (bijvoorbeeld het verkrijgen van metingen elke keer dat u naar uw telefoon kijkt) en helpt het bij het vastleggen van golfvormdynamiek die kan worden gebruikt om atriale fibrillatie, hypertensie en hartslagvariabiliteit te detecteren waar hoge -framesnelheden (minimaal 100 Hz) zijn een vereiste om nauwkeurige metingen van de golfvormdynamiek te verkrijgen.

Alle details zijn te lezen in de paper van het team, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", die is geaccepteerd op de 34e conferentie over neurale informatieverwerkingssystemen (NeurIPS 2020) en zal worden gepresenteerd in een Spotlight talk op maandag 7 december om 6:15-6:30 (PT).