Microsoft Research opracowuje technologię odczytu tętna, oddechu i rytmu serca za pomocą aparatu w smartfonie

Microsoft Research opracował technologię który wykorzystuje konsumenckie kamery smartfonów do bezdotykowych pomiarów fizjologicznych w telezdrowiu i nie tylko.

W ciągu ostatniej dekady naukowcy odkryli, że coraz bardziej dostępne kamery internetowe i aparaty do telefonów komórkowych w połączeniu z algorytmami sztucznej inteligencji mogą być wykorzystywane jako skuteczne czujniki zdrowia. Metody te polegają na pomiarze bardzo subtelnych zmian w wyglądzie ciała w czasie, w wielu przypadkach niezauważalnych dla nieuzbrojonego ludzkiego oka, w celu odzyskania informacji fizjologicznych.

Zespół naukowców z Microsoft Research, University of Washington i OctoML współpracował, aby stworzyć innowacyjne, oparte na wideo, podejście do optycznego pomiaru funkcji życiowych krążeniowo-oddechowej na urządzeniu. W podejściu wykorzystuje się codzienną technologię kamer (taką jak kamery internetowe i urządzenia mobilne) oraz nowatorską, splotową sieć uwagi, zwaną MTTS-CAN, aby umożliwić pomiary krążeniowo-oddechowe w czasie rzeczywistym na platformach mobilnych z najnowocześniejszą dokładnością.

Procesy fizjologiczne, takie jak przepływ krwi i oddychanie, z czasem bardzo subtelnie zmieniają wygląd ciała. Aparat smartfona może wychwycić to odbite światło, a zmiany natężenia pikseli w czasie można wykorzystać do odzyskania podstawowych źródeł tych zmian (a mianowicie pulsu i oddechu osoby). Korzystając z modeli optycznych opartych na wiedzy o tych procesach fizjologicznych, można przetworzyć nagranie wideo osoby w celu określenia jej tętna, oddychania, a nawet stężenia tlenu we krwi.

Technologia może być wykorzystywana do przyziemnych rzeczy, takich jak sprawność fizyczna, dobre samopoczucie i zastosowania kliniczne. Dla zwykłych konsumentów może sprawić, że monitorowanie domu i śledzenie kondycji będzie wygodniejsze. Twoja bieżnia lub inteligentny domowy sprzęt fitness może stale monitorować Twoje funkcje życiowe podczas biegu, na przykład bez konieczności noszenia urządzenia lub synchronizowania danych. W kontekście klinicznym pomiary za pomocą kamery mogą umożliwić kardiologowi bardziej obiektywną analizę zdrowia serca pacjenta podczas rozmowy wideo.

Być może najbardziej oczywistym zastosowaniem czujników fizjologicznych opartych na kamerach jest telezdrowie. Wirus COVID-19 został powiązany ze zwiększonym ryzykiem zapalenia mięśnia sercowego i innych poważnych schorzeń serca (serca), a eksperci sugerują, że podczas leczenia należy zwrócić szczególną uwagę na ochronę układu krążenia i płuc.

Jednak w większości scenariuszy telezdrowia lekarze nie mają dostępu do obiektywnych pomiarów stanu pacjenta z powodu niemożności wychwytywania sygnałów, takich jak parametry życiowe pacjenta. Dotyczy to wielu pacjentów, ponieważ martwią się o jakość diagnozy i opieki, jaką mogą otrzymać bez obiektywnych pomiarów. Wszechobecne wykrywanie mogłoby pomóc zmienić sposób prowadzenia telezdrowia, a także przyczynić się do ustanowienia telezdrowia jako głównej formy opieki zdrowotnej.

Wreszcie, możliwość pracy z dużą liczbą klatek na sekundę umożliwia oportunistyczne wykrywanie (na przykład uzyskiwanie pomiarów za każdym razem, gdy patrzysz na telefon) i pomaga uchwycić dynamikę przebiegu, która może być wykorzystana do wykrywania migotania przedsionków, nadciśnienia i zmienności rytmu serca, gdy jest wysoka -częstotliwość odświeżania (co najmniej 100Hz) jest wymagana do uzyskania precyzyjnych pomiarów dynamiki przebiegu.

Wszystkie szczegóły można przeczytać w artykule zespołu „Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement”, który został zaakceptowany na 34. Konferencji na temat systemów przetwarzania informacji neuronowych (NeurIPS 2020) i zostanie zaprezentowany w wykład Spotlight w poniedziałek, 7 grudnia o 6:15-6:30 (PT).