A Microsoft Research technológiát fejleszt a pulzus, a légzés és a szívritmus leolvasására az okostelefon kamerájával

Microsoft Research technológiát fejlesztett ki amely fogyasztói okostelefon kamerákat használ érintésmentes fiziológiai mérésekhez a távegészségügyben és egyebekben.

Az elmúlt évtizedben a kutatók felfedezték, hogy az egyre inkább elérhető webkamerák és mobiltelefon-kamerák mesterséges intelligencia-algoritmusokkal kombinálva hatékony egészségügyi érzékelőként használhatók. Ezek a módszerek magukban foglalják a test megjelenésében az idő múlásával bekövetkezett nagyon finom, sok esetben szabad emberi szem számára észrevehetetlen változások mérését a fiziológiai információk visszanyerése érdekében.

A Microsoft Research, a Washingtoni Egyetem és az OctoML kutatóiból álló csapat együttműködött egy innovatív, videó alapú, eszközön található optikai kardiopulmonális életjel mérési megközelítés létrehozásában. A megközelítés mindennapi kameratechnológiát (például webkamerákat és mobileszközöket) és egy új, MTTS-CAN nevű konvolúciós figyelem-hálózatot használ, hogy valós idejű kardio-tüdő méréseket tegyen lehetővé mobil platformokon a legmodernebb pontossággal.

Az olyan élettani folyamatok, mint a véráramlás és a légzés, idővel nagyon finoman megváltoztatják a test megjelenését. Az okostelefonok kamerája képes felvenni ezt a visszavert fényt, és a pixelintenzitás időbeli változásai felhasználhatók ezen eltérések mögöttes források (nevezetesen a személy pulzusának és légzésének) visszanyerésére. Ezen élettani folyamatok ismeretében megalapozott optikai modellek segítségével egy személyről készült videó feldolgozásával meghatározható a pulzusa, a légzése, sőt a vér oxigénkoncentrációja is.

A technológia olyan hétköznapi dolgokhoz használható, mint a fitnesz, a jólét és a klinikai alkalmazások. A mindennapi fogyasztók számára kényelmesebbé teheti az otthoni megfigyelést és a fitneszkövetést. Futópadja vagy intelligens otthoni fitneszgépe folyamatosan nyomon követheti életfunkcióit futás közben, például anélkül, hogy eszközt kellene viselnie vagy szinkronizálnia kellene az adatokat. Klinikai összefüggésben a kamera alapú mérések lehetővé tehetik a kardiológus számára, hogy objektívebben elemezze a páciens szívének egészségi állapotát egy videohíváson keresztül.

A kamera alapú fiziológiai érzékelés talán legkézenfekvőbb alkalmazása a távegészségügy. A COVID-19 vírust összefüggésbe hozták a szívizomgyulladás és más súlyos szívbetegségek megnövekedett kockázatával, és a szakértők azt javasolják, hogy a kezelés során különös figyelmet kell fordítani a szív- és érrendszeri és a tüdő védelmére.

A legtöbb távegészségügyi forgatókönyvben azonban az orvosok nem férnek hozzá a páciens állapotának objektív méréseihez, mivel nem képesek érzékelni olyan jeleket, mint például a páciens életjeleit. Ez sok beteget aggaszt, mert aggódnak a diagnózis és az objektív mérések nélkül elérhető ellátás minősége miatt. A mindenütt jelenlévő érzékelés segíthet átalakítani a távegészségügyi kezelési módot, és hozzájárulhat ahhoz is, hogy a távegészségügy az egészségügyi ellátás egyik fő formája legyen.

Végül a nagy képkockasebességen való futás képessége lehetővé teszi az opportunista érzékelést (például mérések lekérését minden alkalommal, amikor ránéz a telefonra), és segít rögzíteni a hullámforma dinamikáját, amely felhasználható a pitvarfibrilláció, a magas vérnyomás és a szívfrekvencia-ingadozás észlelésére, ahol magas. - A képkockasebesség (legalább 100 Hz) követelmény a hullámforma dinamikájának pontos méréséhez.

Minden részlet olvasható a csapat „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement” című dolgozatában, amelyet a 34. Neurális Információfeldolgozó Rendszerek Konferencián (NeurIPS 2020) fogadtak el, és a következő napon mutatják be. egy Spotlight előadás december 7-én, hétfőn 6:15-6:30 (PT).