Microsoft Research razvija tehnologiju za čitanje vašeg pulsa, disanja i srčanog ritma pomoću kamere vašeg pametnog telefona

Microsoft Research je razvio tehnologiju koja koristi kamere za pametne telefone potrošača za beskontaktna fiziološka mjerenja u telezdravstvu i više.

Tijekom proteklog desetljeća, istraživači su otkrili da se sve dostupnije web kamere i kamere mobitela u kombinaciji s AI algoritmima mogu koristiti kao učinkoviti zdravstveni senzori. Ove metode uključuju mjerenje vrlo suptilnih promjena u izgledu tijela tijekom vremena, u mnogim slučajevima promjena neprimjetnih ljudskim okom, kako bi se povratile fiziološke informacije.

Tim istraživača iz Microsoft Researcha, Sveučilišta Washington, i OctoML-a surađivali su kako bi stvorili inovativni pristup mjerenju kardiopulmonalnih vitalnih znakova na uređaju koji se temelji na videu. Pristup koristi svakodnevnu tehnologiju kamera (kao što su web kamere i mobilni uređaji) i novu konvolucionu mrežu pozornosti, nazvanu MTTS-CAN, kako bi kardio-pulmonalna mjerenja u stvarnom vremenu omogućila na mobilnim platformama s vrhunskom točnošću.

Fiziološki procesi poput protoka krvi i disanja s vremenom vrlo suptilno mijenjaju izgled tijela. Kamera pametnog telefona može uhvatiti ovu reflektiranu svjetlost, a promjene intenziteta piksela tijekom vremena mogu se koristiti za oporavak temeljnih izvora ovih varijacija (naime puls i disanje osobe). Koristeći optičke modele utemeljene na poznavanju ovih fizioloških procesa, može se obraditi videozapis osobe kako bi se odredio njihov puls, disanje, pa čak i koncentracija kisika u krvi.

Tehnologija se može koristiti za svjetovne stvari kao što su fitnes, dobrobit i kliničke primjene. Za svakodnevne potrošače mogao bi učiniti praktičnijim praćenje doma i praćenje fitnessa. Vaša traka za trčanje ili pametna oprema za fitnes kod kuće mogli bi kontinuirano pratiti vaše vitalne funkcije tijekom trčanja, na primjer, bez potrebe da nosite uređaj ili sinkronizirate podatke. U kliničkom kontekstu, mjerenja temeljena na kameri mogu omogućiti kardiologu da objektivnije analizira zdravlje srca pacijenta putem videopoziva.

Možda je najočitija primjena fiziološkog senzora temeljenog na kameri u telezdravstvu. Virus COVID-19 povezan je s povećanim rizikom od miokarditisa i drugih ozbiljnih srčanih (srčanih) stanja, a stručnjaci sugeriraju da se posebna pozornost treba posvetiti kardiovaskularnoj i plućnoj zaštiti tijekom liječenja.

U većini slučajeva telezdravstva, međutim, liječnici nemaju pristup objektivnim mjerenjima stanja pacijenta zbog nemogućnosti hvatanja signala kao što su vitalni znakovi pacijenta. To zabrinjava mnoge pacijente jer su zabrinuti za kvalitetu dijagnoze i skrbi koju mogu dobiti bez objektivnih mjerenja. Sveprisutno otkrivanje moglo bi pomoći transformirati način na koji se provodi telezdravstvo, a moglo bi pridonijeti i uspostavljanju telezdravstva kao glavnog oblika zdravstvene skrbi.

Konačno, mogućnost rada s velikom brzinom kadrova omogućuje oportunističko otkrivanje (na primjer, dobivanje mjerenja svaki put kada pogledate u svoj telefon) i pomaže u bilježenju dinamike valnog oblika koja se može koristiti za otkrivanje atrijalne fibrilacije, hipertenzije i varijabilnosti otkucaja srca gdje je visoka -brzine kadrova (najmanje 100Hz) su uvjet za postizanje preciznih mjerenja dinamike valnog oblika.

Sve pojedinosti možete pročitati u radu tima, “Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”, koji je prihvaćen na 34. konferenciji o neuronskim sustavima za obradu informacija (NeurIPS 2020) i bit će predstavljen u govor Spotlight u ponedjeljak, 7. prosinca u 6:15 – 6:30 (PT).