Microsoft Research sviluppa una tecnologia per leggere il polso, la respirazione e il ritmo cardiaco utilizzando la fotocamera dello smartphone

Microsoft Research ha sviluppato una tecnologia che utilizza le fotocamere degli smartphone consumer per misurazioni fisiologiche senza contatto in telemedicina e altro ancora.

Negli ultimi dieci anni, i ricercatori hanno scoperto che le webcam e le fotocamere dei cellulari sempre più disponibili combinate con algoritmi di intelligenza artificiale possono essere utilizzate come sensori di salute efficaci. Questi metodi implicano la misurazione di cambiamenti molto sottili nell'aspetto del corpo nel tempo, in molti casi cambiamenti impercettibili all'occhio umano senza aiuto, per recuperare informazioni fisiologiche.

Un team di ricercatori di Microsoft Research, University of Washington e OctoML hanno collaborato per creare un approccio innovativo per la misurazione ottica dei segni vitali cardiopolmonari su dispositivo basato su video. L'approccio utilizza la tecnologia della fotocamera di tutti i giorni (come webcam e dispositivi mobili) e una nuova rete di attenzione convoluzionale, chiamata MTTS-CAN, per rendere possibili misurazioni cardio-polmonari in tempo reale su piattaforme mobili con una precisione all'avanguardia.

Processi fisiologici come il flusso sanguigno e la respirazione cambiano l'aspetto del corpo in modo molto sottile nel tempo. La fotocamera di uno smartphone può captare questa luce riflessa e i cambiamenti nell'intensità dei pixel nel tempo possono essere utilizzati per recuperare le fonti sottostanti di queste variazioni (vale a dire il polso e la respirazione di una persona). Utilizzando modelli ottici basati sulla conoscenza di questi processi fisiologici, è possibile elaborare un video di una persona per determinarne la frequenza cardiaca, la respirazione e persino la concentrazione di ossigeno nel sangue.

La tecnologia può essere utilizzata per cose banali come fitness, benessere e applicazioni cliniche. Per i consumatori di tutti i giorni, potrebbe rendere più conveniente il monitoraggio domestico e il monitoraggio della forma fisica. Il tuo tapis roulant o l'attrezzatura smart per il fitness a casa potrebbero monitorare continuamente i tuoi parametri vitali durante la corsa, ad esempio senza che tu debba indossare un dispositivo o sincronizzare i dati. In contesti clinici, le misurazioni basate sulla fotocamera potrebbero consentire a un cardiologo di analizzare in modo più obiettivo la salute del cuore di un paziente durante una videochiamata.

Forse l'applicazione più ovvia per il rilevamento fisiologico basato sulla fotocamera è nella telemedicina. Il virus COVID-19 è stato collegato a un aumento del rischio di miocardite e altre gravi condizioni cardiache (cuore) e gli esperti suggeriscono che durante il trattamento si dovrebbe prestare particolare attenzione alla protezione cardiovascolare e polmonare.

Nella maggior parte degli scenari di telemedicina, tuttavia, i medici non hanno accesso a misurazioni oggettive delle condizioni di un paziente a causa dell'incapacità di acquisire segnali come i segni vitali del paziente. Ciò riguarda molti pazienti perché si preoccupano della qualità della diagnosi e delle cure che possono ricevere senza misurazioni oggettive. Il rilevamento onnipresente potrebbe aiutare a trasformare il modo in cui viene condotta la telemedicina e potrebbe anche contribuire a stabilire la telemedicina come una forma tradizionale di assistenza sanitaria.

Infine, la possibilità di eseguire a una frequenza fotogrammi elevata consente il rilevamento opportunistico (ad esempio, ottenere misurazioni ogni volta che si guarda il telefono) e aiuta a catturare la dinamica della forma d'onda che potrebbe essere utilizzata per rilevare la fibrillazione atriale, l'ipertensione e la variabilità della frequenza cardiaca laddove elevata -frame rate (almeno 100 Hz) sono un requisito per ottenere misurazioni precise della dinamica della forma d'onda.

Tutti i dettagli possono essere letti nel documento del team, "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", che è stato accettato alla 34a conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS 2020) e sarà presentato in un discorso in evidenza lunedì 7 dicembre dalle 6:15 alle 6:30 (PT).