Microsoft Research vyvíja technológiu na čítanie vášho pulzu, dýchania a srdcového rytmu pomocou fotoaparátu smartfónu

Microsoft Research vyvinula technológiu ktorá využíva spotrebiteľské smartfónové kamery na bezkontaktné fyziologické meranie v telehealth a ďalších.

Za posledné desaťročie výskumníci zistili, že čoraz dostupnejšie webové kamery a kamery mobilných telefónov v kombinácii s algoritmami AI možno použiť ako účinné senzory zdravia. Tieto metódy zahŕňajú meranie veľmi jemných zmien vo vzhľade tela v priebehu času, v mnohých prípadoch zmien nepostrehnuteľných ľudským okom, aby sa získali fyziologické informácie.

Tím výskumníkov z Microsoft Research, University of Washington a OctoML spolupracoval na vytvorení inovatívneho prístupu na meranie optických kardiopulmonálnych vitálnych funkcií na zariadení. Tento prístup využíva každodennú kamerovú technológiu (ako sú webové kamery a mobilné zariadenia) a novú konvolučnú sieť pozornosti s názvom MTTS-CAN, aby bolo možné vykonávať kardio-pulmonálne merania v reálnom čase na mobilných platformách s najmodernejšou presnosťou.

Fyziologické procesy, ako je prietok krvi a dýchanie, časom veľmi jemne menia vzhľad tela. Kamera smartfónu dokáže zachytiť toto odrazené svetlo a zmeny v intenzite pixelov v priebehu času možno použiť na obnovenie základných zdrojov týchto variácií (konkrétne pulz a dýchanie osoby). Pomocou optických modelov založených na znalostiach týchto fyziologických procesov možno spracovať video osoby, aby sa určila jej pulzová frekvencia, dýchanie a dokonca aj koncentrácia kyslíka v krvi.

Táto technológia môže byť použitá pre svetské veci, ako je fitness, pohoda a klinické aplikácie. Pre každodenných spotrebiteľov by to mohlo uľahčiť sledovanie domácnosti a sledovanie kondície. Váš bežecký pás alebo inteligentné domáce fitness zariadenie môže nepretržite sledovať vaše životné funkcie počas behu, napríklad bez toho, aby ste museli nosiť zariadenie alebo synchronizovať údaje. V klinickom kontexte by merania založené na kamere mohli kardiológovi umožniť objektívnejšie analyzovať zdravie srdca pacienta prostredníctvom videohovoru.

Snáď najzrejmejšou aplikáciou pre fyziologické snímanie pomocou kamery je telehealth. Vírus COVID-19 sa spája so zvýšeným rizikom myokarditídy a iných závažných srdcových (srdcových) ochorení a odborníci navrhujú, aby sa počas liečby venovala osobitná pozornosť kardiovaskulárnej a pľúcnej ochrane.

Vo väčšine scenárov telehealth však lekári nemajú prístup k objektívnym meraniam stavu pacienta, pretože nie sú schopní zachytiť signály, ako sú napríklad vitálne funkcie pacienta. Týka sa to mnohých pacientov, pretože sa obávajú kvality diagnózy a starostlivosti, ktorú môžu dostať bez objektívnych meraní. Všadeprítomné snímanie by mohlo pomôcť zmeniť spôsob, akým sa telehealth vykonáva, a mohlo by tiež prispieť k vytvoreniu telehealth ako hlavnej formy zdravotnej starostlivosti.

Schopnosť bežať pri vysokej snímkovej frekvencii umožňuje oportunistické snímanie (napríklad získavanie meraní zakaždým, keď sa pozriete na telefón) a pomáha zachytiť dynamiku tvaru vlny, ktorú možno použiť na detekciu fibrilácie predsiení, hypertenzie a variability srdcovej frekvencie pri vysokej - snímkové frekvencie (najmenej 100 Hz) sú požiadavkou na získanie presných meraní dynamiky tvaru vlny.

Všetky podrobnosti si môžete prečítať v dokumente tímu „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement“, ktorý bol prijatý na 34. konferencii o systémoch spracovania nervových informácií (NeurIPS 2020) a bude prezentovaný v Spotlight talk v pondelok 7. decembra od 6:15 do 6:30 (PT).