Microsoft Research mengembangkan teknologi untuk membaca Denyut nadi, Pernapasan, dan irama jantung Anda menggunakan kamera ponsel cerdas Anda

Microsoft Research telah mengembangkan teknologi yang memanfaatkan kamera ponsel cerdas konsumen untuk pengukuran fisiologis tanpa kontak dalam telehealth dan banyak lagi.

Selama dekade terakhir, para peneliti telah menemukan bahwa semakin banyak webcam dan kamera ponsel yang dikombinasikan dengan algoritme AI dapat digunakan sebagai sensor kesehatan yang efektif. Metode ini melibatkan pengukuran perubahan yang sangat halus dalam penampilan tubuh sepanjang waktu, dalam banyak kasus perubahan yang tidak terlihat oleh mata manusia tanpa bantuan, untuk memulihkan informasi fisiologis.

Sebuah tim peneliti dari Microsoft Research, University of Washington, dan OctoML telah berkolaborasi untuk membuat pendekatan pengukuran tanda vital cardiopulmonary optik berbasis video pada perangkat yang inovatif. Pendekatan ini menggunakan teknologi kamera sehari-hari (seperti webcam dan perangkat seluler) dan jaringan perhatian konvolusional baru, yang disebut MTTS-CAN, untuk memungkinkan pengukuran kardio-paru secara real-time pada platform seluler dengan akurasi mutakhir.

Proses fisiologis seperti aliran darah dan pernapasan mengubah penampilan tubuh secara halus dari waktu ke waktu. Kamera ponsel cerdas dapat menangkap cahaya yang dipantulkan ini, dan perubahan intensitas piksel dari waktu ke waktu dapat digunakan untuk memulihkan sumber yang mendasari variasi ini (yaitu denyut nadi dan pernapasan seseorang). Menggunakan model optik yang didasarkan pada pengetahuan tentang proses fisiologis ini, video seseorang dapat diproses untuk menentukan denyut nadi, pernapasan, dan bahkan konsentrasi oksigen dalam darah mereka.

Teknologi ini dapat digunakan untuk hal-hal biasa seperti kebugaran, kesejahteraan, dan aplikasi klinis. Untuk konsumen sehari-hari, itu bisa membuat pemantauan rumah dan pelacakan kebugaran lebih nyaman. Treadmill atau peralatan kebugaran di rumah yang cerdas dapat terus melacak vital Anda selama berlari misalnya tanpa Anda perlu memakai perangkat atau menyinkronkan data. Dalam konteks klinis, pengukuran berbasis kamera dapat memungkinkan ahli jantung untuk menganalisis kesehatan jantung pasien secara lebih objektif melalui panggilan video.

Mungkin aplikasi yang paling jelas untuk penginderaan fisiologis berbasis kamera adalah dalam telehealth. Virus COVID-19 telah dikaitkan dengan peningkatan risiko miokarditis dan kondisi jantung (jantung) serius lainnya, dan para ahli menyarankan agar perhatian khusus diberikan pada perlindungan kardiovaskular dan paru selama perawatan.

Namun, dalam kebanyakan skenario telehealth, dokter tidak memiliki akses ke pengukuran objektif kondisi pasien karena ketidakmampuan menangkap sinyal seperti tanda vital pasien. Hal ini mengkhawatirkan banyak pasien karena mereka khawatir tentang kualitas diagnosis dan perawatan yang dapat mereka terima tanpa pengukuran yang objektif. Penginderaan di mana-mana dapat membantu mengubah cara telehealth dilakukan, dan itu juga dapat berkontribusi untuk menetapkan telehealth sebagai bentuk perawatan kesehatan utama.

Terakhir, kemampuan untuk berlari pada kecepatan bingkai tinggi memungkinkan penginderaan oportunistik (misalnya, memperoleh pengukuran setiap kali Anda melihat ponsel) dan membantu menangkap dinamika bentuk gelombang yang dapat digunakan untuk mendeteksi fibrilasi atrium, hipertensi, dan variabilitas detak jantung di tempat yang tinggi -Frame rate (setidaknya 100Hz) adalah persyaratan untuk menghasilkan pengukuran yang tepat dari dinamika bentuk gelombang.

Semua detail dapat dibaca di makalah tim, “Jaringan Perhatian Pergeseran Temporal Multi-Task untuk Pengukuran Vitals Tanpa Kontak Pada Perangkat”, yang telah diterima pada Konferensi ke-34 tentang Sistem Pemrosesan Informasi Saraf (NeurIPS 2020) dan akan dipresentasikan dalam Spotlight talk pada hari Senin, 7 Desember pukul 6:15- 6:30 (PT).