Microsoft Research розробляє технологію для зчитування пульсу, дихання та серцевого ритму за допомогою камери смартфона

Microsoft Research розробила технологію який використовує споживчі камери смартфонів для безконтактних фізіологічних вимірювань у телемедицині тощо.

За останнє десятиліття дослідники виявили, що все більш доступні веб-камери та камери мобільних телефонів у поєднанні з алгоритмами AI можуть використовуватися як ефективні датчики здоров’я. Ці методи передбачають вимірювання дуже тонких змін зовнішнього вигляду тіла протягом часу, у багатьох випадках змін, непомітних для неозброєного людського ока, для відновлення фізіологічної інформації.

Команда дослідників із Microsoft Research, Університету Вашингтона та OctoML співпрацювала, щоб створити інноваційний підхід до вимірювання серцево-легеневих життєво важливих показників на основі відео. Цей підхід використовує повсякденну технологію камер (наприклад, веб-камери та мобільні пристрої) та нову конволюційну мережу уваги, яка називається MTTS-CAN, щоб зробити можливими вимірювання серцево-легеневої системи в реальному часі на мобільних платформах з найсучаснішою точністю.

Фізіологічні процеси, такі як кровотік і дихання, з часом дуже тонко змінюють зовнішній вигляд тіла. Камера смартфона може вловити це відбите світло, і зміни в інтенсивності пікселів з часом можуть бути використані для відновлення основних джерел цих змін (а саме пульс і дихання людини). Використовуючи оптичні моделі, засновані на знаннях цих фізіологічних процесів, відео людини можна обробити, щоб визначити частоту пульсу, дихання і навіть концентрацію кисню в крові.

Технологію можна використовувати для повсякденних речей, таких як фітнес, самопочуття та клінічні застосування. Для звичайних споживачів це може зробити моніторинг будинку та відстеження фітнесу зручнішим. Ваша бігова доріжка або розумне домашнє фітнес-обладнання можуть безперервно відстежувати ваші життєво важливі параметри під час бігу, наприклад, без необхідності носити пристрій або синхронізувати дані. У клінічних умовах вимірювання за допомогою камери можуть дозволити кардіологу більш об’єктивно аналізувати стан серця пацієнта за допомогою відеодзвінка.

Мабуть, найочевиднішим застосуванням фізіологічного зондування на основі камери є телездоров'я. Вірус COVID-19 пов’язують із підвищеним ризиком міокардиту та інших серйозних серцевих (серцевих) захворювань, і експерти пропонують особливу увагу приділяти захисту серцево-судинної системи та легенів під час лікування.

Однак у більшості сценаріїв телемедицини лікарі не мають доступу до об’єктивних вимірювань стану пацієнта через неможливість вловити сигнали, такі як життєві показники пацієнта. Це хвилює багатьох пацієнтів, оскільки вони турбуються про якість діагностики та допомоги, яку вони можуть отримати без об’єктивних вимірювань. Повсюдне зондування може допомогти змінити те, як здійснюється дистанційне здоров’я, а також може сприяти утвердженню телемедицини як основної форми охорони здоров’я.

Нарешті, здатність працювати з високою частотою кадрів забезпечує опортуністичне зондування (наприклад, отримувати вимірювання щоразу, коли ви дивитеся на свій телефон) і допомагає фіксувати динаміку форми хвилі, яка може бути використана для виявлення фібриляції передсердь, гіпертонії та варіабельності серцевого ритму при високих частотах. -частота кадрів (принаймні 100 Гц) є вимогою для отримання точних вимірювань динаміки форми сигналу.

Усі деталі можна прочитати в статті команди «Багатозадачні мережі тимчасового зсуву уваги для безконтактного вимірювання життєво важливих показників на пристрої», яка була прийнята на 34-й конференції з нейронних систем обробки інформації (NeurIPS 2020) і буде представлена ​​в розмова в центрі уваги у понеділок, 7 грудня, о 6:15–6:30 (PT).