Microsoft Research разрабатывает технологию для чтения вашего пульса, дыхания и сердечного ритма с помощью камеры вашего смартфона

Microsoft Research разработал технологию который использует потребительские камеры смартфонов для бесконтактных физиологических измерений в телездравоохранении и многом другом.

За последнее десятилетие исследователи обнаружили, что все более доступные веб-камеры и камеры мобильных телефонов в сочетании с алгоритмами искусственного интеллекта могут использоваться в качестве эффективных датчиков здоровья. Эти методы включают измерение очень тонких изменений внешнего вида тела во времени, во многих случаях изменений, незаметных для невооруженного человеческого глаза, для восстановления физиологической информации.

Команда исследователей из Microsoft Research, Вашингтонского университета и OctoML совместно разработала инновационный подход к оптическому измерению сердечно-легочных показателей жизнедеятельности на основе видео на устройстве. В этом подходе используются повседневные технологии камер (такие как веб-камеры и мобильные устройства) и новая сеть сверточного внимания, называемая MTTS-CAN, чтобы сделать возможными сердечно-легочные измерения в реальном времени на мобильных платформах с самой современной точностью.

Физиологические процессы, такие как кровоток и дыхание, очень тонко изменяют внешний вид тела с течением времени. Камера смартфона может улавливать этот отраженный свет, а изменения интенсивности пикселей с течением времени можно использовать для восстановления основных источников этих изменений (а именно пульса и дыхания человека). Используя оптические модели, основанные на знаниях об этих физиологических процессах, видео человека можно обработать, чтобы определить его частоту пульса, дыхание и даже концентрацию кислорода в его крови.

Эту технологию можно использовать для таких обыденных вещей, как фитнес, благополучие и клиническое применение. Для повседневных потребителей это может сделать домашний мониторинг и отслеживание фитнеса более удобными. Например, ваша беговая дорожка или умное домашнее фитнес-оборудование могут непрерывно отслеживать ваши жизненно важные функции во время бега без необходимости носить устройство или синхронизировать данные. В клиническом контексте измерения с помощью камеры могут позволить кардиологу более объективно анализировать здоровье сердца пациента с помощью видеозвонка.

Возможно, наиболее очевидное применение физиологического зондирования с помощью камеры — телездравоохранение. Вирус COVID-19 был связан с повышенным риском миокардита и других серьезных сердечных (сердечных) заболеваний, и эксперты предлагают уделять особое внимание сердечно-сосудистой и легочной защите во время лечения.

Однако в большинстве сценариев телемедицины врачи не имеют доступа к объективным измерениям состояния пациента из-за невозможности захвата таких сигналов, как показатели жизнедеятельности пациента. Это беспокоит многих пациентов, потому что они беспокоятся о качестве диагностики и помощи, которую они могут получить без объективных измерений. Повсеместное зондирование может помочь изменить методы телемедицины, а также может способствовать превращению телемедицины в основную форму здравоохранения.

Наконец, возможность работы с высокой частотой кадров обеспечивает оппортунистическое восприятие (например, получение измерений каждый раз, когда вы смотрите на свой телефон) и помогает регистрировать динамику формы волны, которую можно использовать для обнаружения мерцательной аритмии, гипертонии и вариабельности сердечного ритма при высокой Частота кадров (не менее 100 Гц) является требованием для получения точных измерений динамики сигнала.

Все подробности можно прочитать в статье команды «Многозадачные сети с временным сдвигом внимания для бесконтактного измерения показателей жизнедеятельности на устройстве», которая была принята на 34-й конференции по системам обработки нейронной информации (NeurIPS 2020) и будет представлена ​​в выступление в центре внимания в понедельник, 7 декабря, с 6:15 до 6:30 (тихоокеанское время).