Microsoft Research razvija tehnologijo za branje vašega utripa, dihanja in srčnega ritma s kamero pametnega telefona

Microsoft Research je razvila tehnologijo ki uporablja kamere potrošniških pametnih telefonov za brezkontaktno fiziološko merjenje v telezdravju in še več.

V zadnjem desetletju so raziskovalci odkrili, da se vse bolj dostopne spletne kamere in kamere mobilnih telefonov v kombinaciji z algoritmi umetne inteligence lahko uporabljajo kot učinkoviti zdravstveni senzorji. Te metode vključujejo merjenje zelo subtilnih sprememb v videzu telesa skozi čas, v mnogih primerih neopaznih s prostim človeškim očesom, za pridobivanje fizioloških informacij.

Skupina raziskovalcev iz Microsoft Research, Univerze v Washingtonu in OctoML je sodelovala pri ustvarjanju inovativnega pristopa za merjenje srčno-pulmonalnih vitalnih znakov na napravi, ki temelji na videu. Pristop uporablja vsakodnevno tehnologijo kamer (kot so spletne kamere in mobilne naprave) in novo konvolucijsko omrežje pozornosti, imenovano MTTS-CAN, da omogoči srčno-pljučne meritve v realnem času na mobilnih platformah z najsodobnejšo natančnostjo.

Fiziološki procesi, kot sta pretok krvi in ​​dihanje, sčasoma zelo subtilno spremenijo videz telesa. Kamera pametnega telefona lahko zajame to odbito svetlobo in spremembe intenzivnosti slikovnih pik sčasoma se lahko uporabijo za obnovitev osnovnih virov teh variacij (in sicer utrip in dihanje osebe). Z uporabo optičnih modelov, ki temeljijo na poznavanju teh fizioloških procesov, je mogoče obdelati videoposnetek osebe, da se določi njihov utrip, dihanje in celo koncentracija kisika v krvi.

Tehnologija se lahko uporablja za vsakdanje stvari, kot so fitnes, dobro počutje in klinične aplikacije. Za vsakodnevne potrošnike bi lahko spremljanje doma in sledenje telesne pripravljenosti naredilo bolj priročno. Vaša tekalna steza ali pametna oprema za fitnes lahko med tekom nenehno spremljajo vaše vitalne funkcije, na primer ne da bi vam bilo treba nositi napravo ali sinhronizirati podatke. V kliničnih kontekstih bi meritve s kamero lahko kardiologu omogočile bolj objektivno analizo bolnikovega zdravja srca prek video klica.

Morda je najbolj očitna aplikacija za fiziološko zaznavanje, ki temelji na kameri, v telezdravju. Virus COVID-19 je povezan s povečanim tveganjem za miokarditis in druga resna srčna (srčna) stanja, strokovnjaki pa predlagajo, da je treba med zdravljenjem posvetiti posebno pozornost srčno-žilni in pljučni zaščiti.

Vendar pa v večini telezdravstvenih scenarijev zdravniki nimajo dostopa do objektivnih meritev bolnikovega stanja zaradi nezmožnosti zajemanja signalov, kot so pacientovi vitalni znaki. To skrbi veliko bolnikov, saj jih skrbi kakovost diagnoze in oskrbe, ki jo lahko prejmejo brez objektivnih meritev. Vseprisotno zaznavanje bi lahko pripomoglo k preoblikovanju izvajanja telehealtha, prav tako pa bi lahko prispevalo k uveljavitvi telezdravja kot glavne oblike zdravstvenega varstva.

Nazadnje, zmožnost delovanja pri visoki hitrosti sličic omogoča oportunistično zaznavanje (na primer pridobivanje meritev vsakič, ko pogledate v telefon) in pomaga zajeti dinamiko valovne oblike, ki bi jo lahko uporabili za odkrivanje atrijske fibrilacije, hipertenzije in spremenljivosti srčnega utripa, kjer je visoka - hitrosti sličic (vsaj 100 Hz) so pogoj za natančne meritve dinamike valovne oblike.

Vse podrobnosti si lahko preberete v dokumentu ekipe »Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement«, ki je bil sprejet na 34. konferenci o sistemih za obdelavo nevronskih informacij (NeurIPS 2020) in bo predstavljen v pogovor v središču pozornosti v ponedeljek, 7. decembra od 6 do 15 (PT).