Microsoft Research udvikler teknologi til at læse din puls, åndedræt og hjerterytme ved hjælp af dit smartphone-kamera

Microsoft Research har udviklet en teknologi som udnytter forbrugers smartphone-kameraer til kontaktfri fysiologisk måling inden for telesundhed med mere.

I løbet af det sidste årti har forskere opdaget, at stadigt mere tilgængelige webkameraer og mobiltelefonkameraer kombineret med AI-algoritmer kan bruges som effektive sundhedssensorer. Disse metoder involverer måling af meget subtile ændringer i kroppens udseende over tid, i mange tilfælde ændringer, der er umærkelige for det blotte menneskelige øje, for at genvinde fysiologisk information.

Et team af forskere fra Microsoft Research, University of Washington og OctoML har samarbejdet om at skabe en innovativ videobaseret on-device optisk tilgang til måling af hjerte-lunge-vitale tegn. Fremgangsmåden bruger dagligdags kamerateknologi (såsom webcams og mobile enheder) og et nyt konvolutionelt opmærksomhedsnetværk, kaldet MTTS-CAN, for at muliggøre hjerte-lungemålinger i realtid på mobile platforme med avanceret nøjagtighed.

Fysiologiske processer som blodgennemstrømning og vejrtrækning ændrer kroppens udseende meget subtilt over tid. Et smartphone-kamera kan opfange dette reflekterede lys, og ændringerne i pixelintensiteter over tid kan bruges til at genvinde de underliggende kilder til disse variationer (nemlig en persons puls og respiration). Ved at bruge optiske modeller baseret på viden om disse fysiologiske processer kan en video af en person behandles for at bestemme deres pulsfrekvens, respiration og endda koncentrationen af ​​ilt i deres blod.

Teknologien kan bruges til hverdagsagtige ting som fitness, velvære og kliniske anvendelser. For daglige forbrugere kan det gøre hjemmeovervågning og fitnesssporing mere bekvemt. Dit løbebånd eller smarte fitnessudstyr til hjemmet kan løbende spore dine vitale funktioner under dit løb, for eksempel uden at du behøver at bære en enhed eller synkronisere dataene. I kliniske sammenhænge kunne kamerabaserede målinger sætte en kardiolog i stand til mere objektivt at analysere en patients hjertesundhed over et videoopkald.

Den måske mest oplagte anvendelse til kamerabaseret fysiologisk sansning er inden for telesundhed. COVID-19-virussen er blevet sat i forbindelse med øget risiko for myokarditis og andre alvorlige hjerte- (hjerte)sygdomme, og eksperter foreslår, at der bør lægges særlig vægt på kardiovaskulær og lungebeskyttelse under behandlingen.

I de fleste telesundhedsscenarier mangler læger imidlertid adgang til objektive målinger af en patients tilstand på grund af manglende evne til at fange signaler såsom patientens vitale tegn. Dette bekymrer mange patienter, fordi de bekymrer sig om kvaliteten af ​​den diagnose og pleje, de kan modtage uden objektive målinger. Allestedsnærværende sansning kan hjælpe med at transformere, hvordan telesundhed udføres, og det kan også bidrage til at etablere telesundhed som en almindelig form for sundhedspleje.

Endelig muliggør evnen til at køre med en høj billedhastighed opportunistisk sansning (f.eks. opnå målinger hver gang du ser på din telefon) og hjælper med at fange bølgeformsdynamik, der kunne bruges til at detektere atrieflimren, hypertension og hjertefrekvensvariabilitet, hvor høj -billedhastigheder (mindst 100Hz) er et krav for at give præcise målinger af bølgeformens dynamik.

Alle detaljer kan læses i teamets papir, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", som er blevet accepteret på den 34. konference om neurale informationsbehandlingssystemer (NeurIPS 2020) og vil blive præsenteret i en Spotlight talk mandag den 7. december kl. 6-15 (PT).