Microsoft Research מפתחת טכנולוגיה לקריאת הדופק, הנשימה וקצב הלב שלך באמצעות מצלמת הטלפון החכם שלך

מחקר של מיקרוסופט פיתחה טכנולוגיה העושה שימוש במצלמות סמארטפון לצרכן למדידה פיזיולוגית נטולת מגע בבריאות טלפונית ועוד.

במהלך העשור האחרון, חוקרים גילו שמצלמות רשת ומצלמות סלולריות זמינות יותר ויותר בשילוב עם אלגוריתמי AI יכולים לשמש כחיישני בריאות יעילים. שיטות אלו כוללות מדידה של שינויים עדינים מאוד במראה הגוף לאורך זמן, במקרים רבים שינויים בלתי מורגשים לעין אנושית בלתי מזוינת, כדי לשחזר מידע פיזיולוגי.

צוות חוקרים מ-Microsoft Research, University of Washington ו-OctoML שיתפו פעולה כדי ליצור גישת מדידת סימנים חיוניים לב-ריאה, מבוססת וידאו חדשנית במכשיר. הגישה משתמשת בטכנולוגיית מצלמה יומיומית (כגון מצלמות רשת ומכשירים ניידים) וברשת קשב חדשנית, הנקראת MTTS-CAN, כדי לאפשר מדידות לב-ריאה בזמן אמת בפלטפורמות ניידות עם דיוק מתקדם.

תהליכים פיזיולוגיים כמו זרימת דם ונשימה משנים את מראה הגוף בעדינות רבה לאורך זמן. מצלמת סמארטפון יכולה לקלוט את האור המוחזר הזה, וניתן להשתמש בשינויים בעוצמות הפיקסלים לאורך זמן כדי לשחזר את המקורות הבסיסיים של הווריאציות הללו (כלומר הדופק והנשימה של אדם). באמצעות מודלים אופטיים המבוססים על הידע של התהליכים הפיזיולוגיים הללו, ניתן לעבד סרטון של אדם כדי לקבוע את קצב הדופק, הנשימה ואפילו ריכוז החמצן בדם.

הטכנולוגיה יכולה לשמש לדברים ארציים כמו כושר, רווחה ויישומים קליניים. עבור צרכנים יומיומיים, זה יכול להפוך את הניטור הביתי ומעקב הכושר לנוחים יותר. ההליכון או ציוד הכושר החכם בבית שלך יכולים לעקוב ברציפות אחר החיוניות שלך במהלך הריצה שלך, למשל מבלי שתצטרך ללבוש מכשיר או לסנכרן את הנתונים. בהקשרים קליניים, מדידות מבוססות מצלמה יכולות לאפשר לקרדיולוג לנתח בצורה אובייקטיבית יותר את בריאות הלב של המטופל בשיחת וידאו.

אולי היישום הברור ביותר עבור חישה פיזיולוגית מבוססת מצלמה הוא בתחום הבריאות הטלפונית. נגיף ה-COVID-19 נקשר לסיכון מוגבר לדלקת שריר הלב ולמחלות לב (לב) חמורות אחרות, ומומחים מציעים שיש לתת תשומת לב מיוחדת להגנה על הלב וכלי הדם והריאות במהלך הטיפול.

עם זאת, ברוב תרחישי הבריאות הטלפונית, לרופאים אין גישה למדידות אובייקטיביות של מצבו של המטופל בגלל חוסר היכולת ללכוד אותות כמו הסימנים החיוניים של המטופל. הדבר מדאיג מטופלים רבים מכיוון שהם דואגים לאיכות האבחון והטיפול שהם יכולים לקבל ללא מדידות אובייקטיביות. חישה בכל מקום יכולה לעזור לשנות את אופן ההתנהלות של בריאות טלפונית, והיא יכולה גם לתרום לביסוס בריאות טלפון כצורה מיינסטרים של שירותי בריאות.

לבסוף, היכולת לרוץ בקצב פריימים גבוה מאפשרת חישה אופורטוניסטית (לדוגמה, השגת מדידות בכל פעם שאתה מסתכל בטלפון שלך) ועוזרת ללכוד דינמיקה של צורות גל שיכולה לשמש לזיהוי פרפור פרוזדורים, יתר לחץ דם ושונות קצב לב כאשר הם גבוהים. -קצבי פריימים (לפחות 100Hz) הם דרישה כדי להניב מדידות מדויקות של דינמיקת צורות הגל.

ניתן לקרוא את כל הפרטים במאמר של הצוות, "רשתות קשב זמני מרובות משימות עבור מדידת חיוניות ללא מגע במכשיר", שהתקבל בכנס ה-34 למערכות עיבוד מידע עצבי (NeurIPS 2020) ויוצג ב שיחת זרקור ביום שני, 7 בדצמבר, בין השעות 6:15-6:30 (PT).