Microsoft Research desenvolve tecnologia para ler seu pulso, respiração e ritmo cardíaco usando a câmera do smartphone

Microsoft Research desenvolveu uma tecnologia que utiliza câmeras de smartphones para medição fisiológica sem contato em telessaúde e muito mais.

Na última década, os pesquisadores descobriram que webcams e câmeras de celular cada vez mais disponíveis combinadas com algoritmos de IA podem ser usadas como sensores de saúde eficazes. Esses métodos envolvem a medição de mudanças muito sutis na aparência do corpo ao longo do tempo, em muitos casos mudanças imperceptíveis a olho nu humano, para recuperar informações fisiológicas.

Uma equipe de pesquisadores da Microsoft Research, da Universidade de Washington e da OctoML colaborou para criar uma abordagem inovadora de medição de sinais vitais cardiopulmonares ópticos baseada em vídeo no dispositivo. A abordagem usa tecnologia de câmera cotidiana (como webcams e dispositivos móveis) e uma nova rede de atenção convolucional, chamada MTTS-CAN, para possibilitar medições cardiopulmonares em tempo real em plataformas móveis com precisão de última geração.

Processos fisiológicos, como fluxo sanguíneo e respiração, alteram a aparência do corpo muito sutilmente ao longo do tempo. Uma câmera de smartphone pode captar essa luz refletida, e as mudanças nas intensidades dos pixels ao longo do tempo podem ser usadas para recuperar as fontes subjacentes dessas variações (ou seja, o pulso e a respiração de uma pessoa). Usando modelos ópticos fundamentados no conhecimento desses processos fisiológicos, um vídeo de uma pessoa pode ser processado para determinar sua pulsação, respiração e até mesmo a concentração de oxigênio no sangue.

A tecnologia pode ser usada para coisas mundanas, como condicionamento físico, bem-estar e aplicações clínicas. Para os consumidores comuns, isso pode tornar o monitoramento doméstico e o rastreamento de condicionamento físico mais convenientes. Sua esteira ou equipamento de fitness doméstico inteligente pode rastrear continuamente seus sinais vitais durante a corrida, por exemplo, sem que você precise usar um dispositivo ou sincronizar os dados. Em contextos clínicos, as medições baseadas em câmeras podem permitir que um cardiologista analise mais objetivamente a saúde do coração de um paciente por meio de uma chamada de vídeo.

Talvez a aplicação mais óbvia para o sensoriamento fisiológico baseado em câmera seja na telessaúde. O vírus COVID-19 tem sido associado ao aumento do risco de miocardite e outras condições cardíacas (coração) graves, e os especialistas estão sugerindo que atenção especial deve ser dada à proteção cardiovascular e pulmonar durante o tratamento.

Na maioria dos cenários de telessaúde, no entanto, os médicos não têm acesso a medições objetivas da condição de um paciente devido à incapacidade de capturar sinais como os sinais vitais do paciente. Isso preocupa muitos pacientes porque se preocupam com a qualidade do diagnóstico e dos cuidados que podem receber sem mensurações objetivas. O sensoriamento onipresente pode ajudar a transformar a forma como a telessaúde é conduzida e também pode contribuir para estabelecer a telessaúde como uma forma convencional de assistência médica.

Por fim, a capacidade de executar em uma alta taxa de quadros permite a detecção oportunista (por exemplo, obter medições cada vez que você olha para o telefone) e ajuda a capturar a dinâmica da forma de onda que pode ser usada para detectar fibrilação atrial, hipertensão e variabilidade da frequência cardíaca onde houver alta -taxas de quadros (pelo menos 100Hz) são um requisito para produzir medições precisas da dinâmica da forma de onda.

Todos os detalhes podem ser lidos no artigo da equipe, “Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”, que foi aceito na 34th Conference on Neural Information Processing Systems (NeurIPS 2020) e será apresentado em uma palestra Spotlight na segunda-feira, 7 de dezembro, das 6h15 às 6h30 (PT).