Microsoft Research dezvoltă tehnologie pentru a citi pulsul, respirația și ritmul inimii folosind camera smartphone-ului

Microsoft Research a dezvoltat o tehnologie care utilizează camere pentru smartphone-uri pentru consumatori pentru măsurarea fiziologică fără contact în telesănătate și nu numai.

În ultimul deceniu, cercetătorii au descoperit că camerele web și camerele pentru telefoane mobile din ce în ce mai disponibile, combinate cu algoritmi AI, pot fi utilizați ca senzori de sănătate eficienți. Aceste metode presupun măsurarea modificărilor foarte subtile ale aspectului corpului de-a lungul timpului, în multe cazuri modificări imperceptibile pentru ochiul uman neajutat, pentru a recupera informații fiziologice.

O echipă de cercetători de la Microsoft Research, Universitatea din Washington și OctoML au colaborat pentru a crea o abordare inovatoare de măsurare optică a semnelor vitale cardiopulmonare pe dispozitiv, bazată pe video. Abordarea folosește tehnologia camerelor de zi cu zi (cum ar fi camere web și dispozitive mobile) și o nouă rețea de atenție convoluțională, numită MTTS-CAN, pentru a face posibile măsurători cardio-pulmonare în timp real pe platforme mobile cu acuratețe de ultimă generație.

Procesele fiziologice precum fluxul sanguin și respirația modifică aspectul corpului foarte subtil în timp. O cameră pentru smartphone poate capta această lumină reflectată, iar modificările intensităților pixelilor de-a lungul timpului pot fi folosite pentru a recupera sursele care stau la baza acestor variații (și anume pulsul și respirația unei persoane). Folosind modele optice bazate pe cunoașterea acestor procese fiziologice, un videoclip al unei persoane poate fi procesat pentru a determina frecvența pulsului, respirația și chiar concentrația de oxigen din sângele acesteia.

Tehnologia poate fi folosită pentru lucruri banale, cum ar fi fitness, bunăstare și aplicații clinice. Pentru consumatorii obișnuiți, ar putea face monitorizarea acasă și urmărirea fitness-ului mai convenabile. Banda de alergare sau echipamentul inteligent de fitness de acasă ar putea urmări continuu valorile vitale în timpul alergării, de exemplu, fără a fi nevoie să porți un dispozitiv sau să sincronizați datele. În contexte clinice, măsurătorile bazate pe cameră ar putea permite unui cardiolog să analizeze mai obiectiv sănătatea inimii unui pacient prin intermediul unui apel video.

Poate cea mai evidentă aplicație pentru detectarea fiziologică bazată pe cameră este în telesănătate. Virusul COVID-19 a fost asociat cu un risc crescut de miocardită și alte afecțiuni cardiace (inimii) grave, iar experții sugerează că ar trebui să se acorde o atenție deosebită protecției cardiovasculare și pulmonare în timpul tratamentului.

În majoritatea scenariilor de telesănătate, totuși, medicii nu au acces la măsurători obiective ale stării pacientului din cauza incapacității de a capta semnale precum semnele vitale ale pacientului. Acest lucru îi preocupă pe mulți pacienți, deoarece își fac griji cu privire la calitatea diagnosticului și îngrijirile pe care le pot primi fără măsurători obiective. Detecția omniprezentă ar putea ajuta la transformarea modului în care se desfășoară telesănătatea și ar putea contribui, de asemenea, la stabilirea telesănătății ca formă principală de asistență medicală.

În cele din urmă, capacitatea de a rula la o frecvență mare de cadre permite detectarea oportunistă (de exemplu, obținerea de măsurători de fiecare dată când vă uitați la telefon) și ajută la capturarea dinamicii formei de undă care ar putea fi utilizate pentru a detecta fibrilația atrială, hipertensiunea și variabilitatea ritmului cardiac atunci când este ridicată. - ratele de cadre (cel puțin 100 Hz) sunt o cerință pentru a obține măsurători precise ale dinamicii formei de undă.

Toate detaliile pot fi citite în lucrarea echipei, „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”, care a fost acceptată la cea de-a 34-a Conferință privind sistemele de procesare a informațiilor neuronale (NeurIPS 2020) și va fi prezentată în o discuție Spotlight luni, 7 decembrie, de la 6:15 la 6:30 (PT).