Microsoft Research utvikler teknologi for å lese puls, åndedrett og hjerterytme ved hjelp av smarttelefonkameraet

Microsoft Research har utviklet en teknologi som benytter forbruker-smarttelefonkameraer for kontaktfri fysiologisk måling innen telehelse med mer.

I løpet av det siste tiåret har forskere oppdaget at stadig mer tilgjengelige webkameraer og mobiltelefonkameraer kombinert med AI-algoritmer kan brukes som effektive helsesensorer. Disse metodene involverer måling av svært subtile endringer i kroppens utseende over tid, i mange tilfeller endringer som er umerkelige for det blotte menneskelige øyet, for å gjenopprette fysiologisk informasjon.

Et team av forskere fra Microsoft Research, University of Washington og OctoML har samarbeidet for å lage en nyskapende videobasert tilnærming til optisk måling av hjerte- og lungevitale tegn. Tilnærmingen bruker dagligdags kamerateknologi (som webkameraer og mobile enheter) og et nytt konvolusjonelt oppmerksomhetsnettverk, kalt MTTS-CAN, for å gjøre kardio-pulmonale målinger i sanntid mulig på mobile plattformer med toppmoderne nøyaktighet.

Fysiologiske prosesser som blodstrøm og pust endrer kroppens utseende svært subtilt over tid. Et smarttelefonkamera kan fange opp dette reflekterte lyset, og endringene i pikselintensiteter over tid kan brukes til å gjenopprette de underliggende kildene til disse variasjonene (nemlig en persons puls og respirasjon). Ved å bruke optiske modeller basert på kunnskap om disse fysiologiske prosessene, kan en video av en person behandles for å bestemme deres pulsfrekvens, respirasjon og til og med konsentrasjonen av oksygen i blodet.

Teknologien kan brukes til hverdagslige ting som fitness, velvære og kliniske applikasjoner. For daglige forbrukere kan det gjøre hjemmeovervåking og treningssporing mer praktisk. Tredemøllen eller det smarte hjemmetreningsutstyret ditt kan kontinuerlig spore vitalene dine under løpeturen, for eksempel uten at du trenger å bruke en enhet eller synkronisere dataene. I kliniske sammenhenger kan kamerabaserte målinger gjøre det mulig for en kardiolog å mer objektivt analysere en pasients hjertehelse over en videosamtale.

Den kanskje mest åpenbare applikasjonen for kamerabasert fysiologisk sansing er innen telehelse. Covid-19-viruset har vært knyttet til økt risiko for myokarditt og andre alvorlige hjerte-(hjerte)sykdommer, og eksperter foreslår at spesiell oppmerksomhet bør gis til kardiovaskulær og lungebeskyttelse under behandling.

I de fleste telehelse-scenarier mangler imidlertid leger tilgang til objektive målinger av en pasients tilstand på grunn av manglende evne til å fange opp signaler som pasientens vitale tegn. Dette bekymrer mange pasienter fordi de bekymrer seg for kvaliteten på diagnosen og omsorgen de kan få uten objektive målinger. Allestedsnærværende sansing kan bidra til å transformere hvordan telehelse drives, og det kan også bidra til å etablere telehelse som en vanlig form for helsetjenester.

Til slutt, muligheten til å kjøre med høy bildefrekvens muliggjør opportunistisk sansing (for eksempel å oppnå målinger hver gang du ser på telefonen) og hjelper til med å fange bølgeformdynamikk som kan brukes til å oppdage atrieflimmer, hypertensjon og hjertefrekvensvariasjoner der høy -bildehastigheter (minst 100Hz) er et krav for å gi nøyaktige målinger av bølgeformdynamikken.

Alle detaljene kan leses i teamets papir, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement," som har blitt akseptert på den 34. konferansen om nevrale informasjonsbehandlingssystemer (NeurIPS 2020) og vil bli presentert i en Spotlight talk mandag 7. desember kl. 6–15 (PT).