Η Microsoft Research αναπτύσσει τεχνολογία για την ανάγνωση του παλμού, της αναπνοής και του καρδιακού σας ρυθμού χρησιμοποιώντας την κάμερα του smartphone σας

Microsoft Research έχει αναπτύξει μια τεχνολογία που χρησιμοποιεί κάμερες smartphone καταναλωτών για φυσιολογική μέτρηση χωρίς επαφή στην τηλευγεία και πολλά άλλα.

Την τελευταία δεκαετία, οι ερευνητές ανακάλυψαν ότι οι ολοένα και πιο διαθέσιμες κάμερες web και κάμερες κινητών τηλεφώνων σε συνδυασμό με αλγόριθμους AI μπορούν να χρησιμοποιηθούν ως αποτελεσματικοί αισθητήρες υγείας. Αυτές οι μέθοδοι περιλαμβάνουν μέτρηση πολύ λεπτών αλλαγών στην εμφάνιση του σώματος με την πάροδο του χρόνου, σε πολλές περιπτώσεις αλλαγών που είναι ανεπαίσθητες με γυμνό ανθρώπινο μάτι, για την ανάκτηση φυσιολογικών πληροφοριών.

Μια ομάδα ερευνητών από τη Microsoft Research, το Πανεπιστήμιο της Ουάσιγκτον και την OctoML συνεργάστηκαν για να δημιουργήσουν μια καινοτόμο προσέγγιση μέτρησης οπτικών καρδιοπνευμονικών ζωτικών σημάτων που βασίζεται σε βίντεο στη συσκευή. Η προσέγγιση χρησιμοποιεί καθημερινή τεχνολογία κάμερας (όπως κάμερες και φορητές συσκευές) και ένα νέο δίκτυο συνελικτικής προσοχής, που ονομάζεται MTTS-CAN, για να κάνει δυνατές καρδιοπνευμονικές μετρήσεις σε πραγματικό χρόνο σε κινητές πλατφόρμες με ακρίβεια αιχμής.

Φυσιολογικές διεργασίες όπως η ροή του αίματος και η αναπνοή αλλάζουν την εμφάνιση του σώματος πολύ διακριτικά με την πάροδο του χρόνου. Μια κάμερα smartphone μπορεί να πάρει αυτό το ανακλώμενο φως και οι αλλαγές στις εντάσεις των εικονοστοιχείων με την πάροδο του χρόνου μπορούν να χρησιμοποιηθούν για την ανάκτηση των υποκείμενων πηγών αυτών των διακυμάνσεων (δηλαδή του παλμού και της αναπνοής ενός ατόμου). Χρησιμοποιώντας οπτικά μοντέλα που βασίζονται στη γνώση αυτών των φυσιολογικών διεργασιών, ένα βίντεο ενός ατόμου μπορεί να υποβληθεί σε επεξεργασία για να προσδιοριστεί ο ρυθμός παλμών, η αναπνοή, ακόμη και η συγκέντρωση οξυγόνου στο αίμα του.

Η τεχνολογία μπορεί να χρησιμοποιηθεί για κοσμικά πράγματα όπως η φυσική κατάσταση, η ευεξία και οι κλινικές εφαρμογές. Για τους καθημερινούς καταναλωτές, θα μπορούσε να κάνει πιο βολική την παρακολούθηση στο σπίτι και την παρακολούθηση της φυσικής κατάστασης. Ο διάδρομος ή ο έξυπνος εξοπλισμός γυμναστικής για το σπίτι θα μπορούσε να παρακολουθεί συνεχώς τα ζωτικά σας στοιχεία κατά τη διάρκεια του τρεξίματός σας, για παράδειγμα, χωρίς να χρειάζεται να φοράτε συσκευή ή να συγχρονίζετε τα δεδομένα. Σε κλινικά πλαίσια, οι μετρήσεις που βασίζονται σε κάμερα θα μπορούσαν να επιτρέψουν στον καρδιολόγο να αναλύσει πιο αντικειμενικά την υγεία της καρδιάς ενός ασθενούς μέσω μιας βιντεοκλήσης.

Ίσως η πιο προφανής εφαρμογή για φυσιολογική αίσθηση που βασίζεται στην κάμερα είναι στην τηλευγεία. Ο ιός COVID-19 έχει συνδεθεί με αυξημένο κίνδυνο μυοκαρδίτιδας και άλλων σοβαρών καρδιακών (καρδιακών) παθήσεων και οι ειδικοί προτείνουν να δοθεί ιδιαίτερη προσοχή στην καρδιαγγειακή και πνευμονική προστασία κατά τη διάρκεια της θεραπείας.

Στα περισσότερα σενάρια τηλευγείας, ωστόσο, οι γιατροί δεν έχουν πρόσβαση σε αντικειμενικές μετρήσεις της κατάστασης του ασθενούς λόγω της αδυναμίας λήψης σημάτων όπως τα ζωτικά σημεία του ασθενούς. Αυτό αφορά πολλούς ασθενείς γιατί ανησυχούν για την ποιότητα της διάγνωσης και της φροντίδας που μπορούν να λάβουν χωρίς αντικειμενικές μετρήσεις. Η πανταχού παρούσα ανίχνευση θα μπορούσε να βοηθήσει στη μετατροπή του τρόπου με τον οποίο διεξάγεται η τηλευγεία και θα μπορούσε επίσης να συμβάλει στην καθιέρωση της τηλευγείας ως κύριας μορφής υγειονομικής περίθαλψης.

Τέλος, η δυνατότητα εκτέλεσης με υψηλό ρυθμό καρέ επιτρέπει την ευκαιριακή ανίχνευση (για παράδειγμα, λήψη μετρήσεων κάθε φορά που κοιτάζετε το τηλέφωνό σας) και βοηθά στην καταγραφή της δυναμικής κυματομορφής που θα μπορούσε να χρησιμοποιηθεί για την ανίχνευση κολπικής μαρμαρυγής, υπέρτασης και μεταβλητότητας καρδιακού παλμού σε υψηλή -Οι ρυθμοί καρέ (τουλάχιστον 100 Hz) είναι μια απαίτηση για την απόδοση ακριβών μετρήσεων της δυναμικής της κυματομορφής.

Όλες οι λεπτομέρειες μπορούν να διαβαστούν στην εργασία της ομάδας, «Δίκτυα προσοχής με χρονική μετατόπιση πολλαπλών εργασιών για μέτρηση ζωτικής σημασίας χωρίς επαφή με τη συσκευή», η οποία έγινε αποδεκτή στο 34ο Συνέδριο για Συστήματα Επεξεργασίας Νευρωνικών Πληροφοριών (NeurIPS 2020) και θα παρουσιαστεί στο μια ομιλία στο Spotlight τη Δευτέρα 7 Δεκεμβρίου στις 6:15 μ.μ.- 6:30 μ.μ. (PT).