Microsoft Research vyvíjí technologii pro čtení vašeho pulsu, dýchání a srdečního rytmu pomocí fotoaparátu chytrého telefonu

Microsoft Research vyvinula technologii která využívá spotřebitelské kamery chytrých telefonů pro bezkontaktní fyziologická měření v telehealth a další.

Během posledního desetiletí výzkumníci zjistili, že stále dostupnější webové kamery a kamery mobilních telefonů v kombinaci s algoritmy AI lze použít jako účinné senzory zdraví. Tyto metody zahrnují měření velmi jemných změn ve vzhledu těla v průběhu času, v mnoha případech změn nepostřehnutelných lidským okem bez pomoci, aby se získaly fyziologické informace.

Tým výzkumníků z Microsoft Research, University of Washington a OctoML spolupracoval na vytvoření inovativního přístupu k měření optických kardiopulmonálních vitálních funkcí na zařízení založeném na videu. Tento přístup využívá technologii každodenních kamer (jako jsou webové kamery a mobilní zařízení) a novou konvoluční síť pozornosti nazvanou MTTS-CAN, která umožňuje kardio-pulmonální měření v reálném čase na mobilních platformách s nejmodernější přesností.

Fyziologické procesy, jako je průtok krve a dýchání, časem velmi nenápadně mění vzhled těla. Kamera smartphonu může zachytit toto odražené světlo a změny v intenzitě pixelů v průběhu času lze použít k obnovení základních zdrojů těchto variací (konkrétně pulsu a dýchání osoby). Pomocí optických modelů založených na znalosti těchto fyziologických procesů lze zpracovat video osoby, aby se zjistila její tepová frekvence, dýchání a dokonce i koncentrace kyslíku v krvi.

Tato technologie může být použita pro všední věci, jako je fitness, duševní pohoda a klinické aplikace. Pro každodenní spotřebitele by to mohlo usnadnit sledování domácnosti a sledování fitness. Váš běžecký pás nebo chytré domácí fitness vybavení může nepřetržitě sledovat vaše životní funkce během vašeho běhu, například aniž byste museli nosit zařízení nebo synchronizovat data. V klinických kontextech by měření založená na kamerách mohla kardiologovi umožnit objektivněji analyzovat zdravotní stav srdce pacienta prostřednictvím videohovoru.

Snad nejviditelnější aplikací pro fyziologické snímání pomocí kamery je telehealth. Virus COVID-19 je spojován se zvýšeným rizikem myokarditidy a dalších závažných srdečních (srdečních) onemocnění a odborníci navrhují, aby byla během léčby věnována zvláštní pozornost kardiovaskulární a plicní ochraně.

Ve většině scénářů telehealth však lékaři nemají přístup k objektivním měřením pacientova stavu, protože nejsou schopni zachytit signály, jako jsou pacientovy vitální funkce. To se týká mnoha pacientů, protože se obávají kvality diagnózy a péče, kterou mohou získat bez objektivních měření. Všudypřítomné snímání by mohlo pomoci změnit způsob, jakým se telehealth provádí, a mohlo by také přispět k vytvoření telehealth jako běžné formy zdravotní péče.

A konečně, schopnost běžet při vysoké snímkové frekvenci umožňuje oportunistické snímání (například získání měření pokaždé, když se podíváte na telefon) a pomáhá zachytit dynamiku tvaru vlny, kterou lze použít k detekci fibrilace síní, hypertenze a variability srdeční frekvence tam, kde je vysoká -frekvence snímků (alespoň 100 Hz) jsou požadavkem pro získání přesných měření dynamiky tvaru vlny.

Všechny podrobnosti si můžete přečíst v dokumentu týmu „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement“, který byl přijat na 34. konferenci o systémech zpracování nervových informací (NeurIPS 2020) a bude prezentován v Spotlight talk v pondělí 7. prosince v 6:15–6:30 (PT).