Microsoft Research utvecklar teknik för att läsa din puls, andning och hjärtrytm med din smartphonekamera

Microsoft Research har utvecklat en teknik som utnyttjar konsumentsmartphonekameror för kontaktfri fysiologisk mätning inom telehälsa med mera.

Under det senaste decenniet har forskare upptäckt att alltmer tillgängliga webbkameror och mobiltelefonkameror i kombination med AI-algoritmer kan användas som effektiva hälsosensorer. Dessa metoder involverar mätning av mycket subtila förändringar i kroppens utseende över tid, i många fall förändringar som är omärkliga för det blotta ögat, för att återställa fysiologisk information.

Ett team av forskare från Microsoft Research, University of Washington och OctoML har samarbetat för att skapa ett innovativt videobaserat optiskt tillvägagångssätt för mätning av hjärt- och lungvitala tecken. Tillvägagångssättet använder vardagskamerateknik (som webbkameror och mobila enheter) och ett nytt konvolutionellt uppmärksamhetsnätverk, kallat MTTS-CAN, för att möjliggöra hjärt-lungmätningar i realtid på mobila plattformar med toppmodern noggrannhet.

Fysiologiska processer som blodflöde och andning förändrar kroppens utseende mycket subtilt över tiden. En smartphonekamera kan ta upp detta reflekterade ljus, och förändringarna i pixelintensiteter över tiden kan användas för att återställa de underliggande källorna till dessa variationer (nämligen en persons puls och andning). Med hjälp av optiska modeller grundade i kunskapen om dessa fysiologiska processer kan en video av en person bearbetas för att bestämma deras pulsfrekvens, andning och till och med koncentrationen av syre i blodet.

Tekniken kan användas för vardagliga saker som fitness, välbefinnande och kliniska tillämpningar. För dagliga konsumenter kan det göra hemövervakning och träningsspårning mer bekvämt. Ditt löpband eller din smarta hemmaträningsutrustning kan kontinuerligt spåra dina vitals under löpningen, till exempel utan att du behöver bära en enhet eller synkronisera data. I kliniska sammanhang kan kamerabaserade mätningar göra det möjligt för en kardiolog att mer objektivt analysera en patients hjärthälsa över ett videosamtal.

Den kanske mest uppenbara applikationen för kamerabaserad fysiologisk avkänning är inom telehälsa. Covid-19-viruset har kopplats till ökad risk för myokardit och andra allvarliga hjärt- (hjärt)tillstånd, och experter föreslår att särskild uppmärksamhet bör ägnas åt kardiovaskulärt och lungskydd under behandlingen.

I de flesta telehälsoscenarier saknar dock läkare tillgång till objektiva mätningar av en patients tillstånd på grund av oförmågan att fånga signaler som patientens vitala tecken. Detta bekymrar många patienter eftersom de oroar sig för kvaliteten på den diagnos och vård de kan få utan objektiva mätningar. Ubiquitous sensing kan hjälpa till att förändra hur telehälsa bedrivs, och det kan också bidra till att etablera telehälsa som en vanlig form av hälsovård.

Slutligen, möjligheten att köra med en hög bildfrekvens möjliggör opportunistisk avkänning (till exempel att få mätningar varje gång du tittar på din telefon) och hjälper till att fånga vågformsdynamik som kan användas för att detektera förmaksflimmer, högt blodtryck och hjärtfrekvensvariationer där höga -bildhastigheter (minst 100Hz) är ett krav för att ge exakta mätningar av vågformens dynamik.

Alla detaljer kan läsas i teamets papper, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", som har accepterats vid den 34:e konferensen om neurala informationsbehandlingssystem (NeurIPS 2020) och kommer att presenteras i ett Spotlight-talk måndagen den 7 december kl. 6–15 (PT).