Microsoft Research kehittää teknologiaa pulssin, hengityksen ja sydämen rytmin lukemiseen älypuhelimen kameralla

Microsoft Research on kehittänyt teknologian joka hyödyntää kuluttajien älypuhelimien kameroita kosketuksettomaan fysiologiseen mittaukseen etäterveyden ja monen muun alalla.

Viimeisen vuosikymmenen aikana tutkijat ovat havainneet, että yhä enemmän saatavilla olevia verkkokameroita ja matkapuhelinkameroita yhdistettynä tekoälyalgoritmeihin voidaan käyttää tehokkaina terveysantureina. Näissä menetelmissä mitataan erittäin hienovaraisia ​​muutoksia kehon ulkonäössä ajan mittaan, monissa tapauksissa paljaalla ihmissilmällä havaitsemattomia muutoksia fysiologisen tiedon palauttamiseksi.

Tutkijaryhmä Microsoft Researchista, Washingtonin yliopistosta ja OctoML:stä on tehnyt yhteistyötä luodakseen innovatiivisen videopohjaisen laitteen optisen kardiopulmonaalisen elintoimintojen mittausmenetelmän. Lähestymistapa käyttää jokapäiväistä kameratekniikkaa (kuten web-kameroita ja mobiililaitteita) ja uutta konvoluutiota huomioivaa verkkoa, nimeltään MTTS-CAN, mahdollistamaan reaaliaikaiset sydän- ja keuhkomittaukset mobiilialustoilla huippuluokan tarkkuudella.

Fysiologiset prosessit, kuten verenkierto ja hengitys, muuttavat kehon ulkonäköä erittäin hienovaraisesti ajan myötä. Älypuhelimen kamera pystyy poimimaan tämän heijastuneen valon, ja pikselivoimakkuuden muutoksia ajan myötä voidaan käyttää näiden vaihtelujen taustalla olevien lähteiden (eli ihmisen pulssin ja hengityksen) palauttamiseen. Näiden fysiologisten prosessien tuntemiseen perustuvien optisten mallien avulla voidaan käsitellä videota henkilöstä, jonka avulla voidaan määrittää hänen pulssinsa, hengityksensä ja jopa veren happipitoisuus.

Teknologiaa voidaan käyttää arkipäiväisiin asioihin, kuten kuntoon, hyvinvointiin ja kliinisiin sovelluksiin. Arkikuluttajille se voisi tehdä kodin seurannasta ja kuntoseurannasta helpompaa. Juoksumatto tai älykäs kotikuntolaite voisi seurata elintoimintojasi jatkuvasti esimerkiksi juoksun aikana ilman, että sinun tarvitsee käyttää laitetta tai synkronoida tietoja. Kliinisissä yhteyksissä kamerapohjaiset mittaukset voisivat antaa kardiologille mahdollisuuden analysoida objektiivisemmin potilaan sydämen terveyttä videopuhelun kautta.

Ehkä ilmeisin sovellus kamerapohjaiselle fysiologiselle tunnistukselle on etäterveys. COVID-19-virus on yhdistetty lisääntyneeseen sydänlihastulehduksen ja muiden vakavien sydänsairauksien riskiin, ja asiantuntijat ehdottavat, että sydämen ja verisuonten ja keuhkojen suojaamiseen tulisi kiinnittää erityistä huomiota hoidon aikana.

Useimmissa etäterveysskenaarioissa lääkäreillä ei kuitenkaan ole mahdollisuutta saada objektiivisia mittauksia potilaan tilasta, koska he eivät pysty sieppaamaan signaaleja, kuten potilaan elintoimintoja. Tämä huolestuttaa monia potilaita, koska he ovat huolissaan diagnoosin ja hoidon laadusta, jonka he voivat saada ilman objektiivisia mittauksia. Jokapaikan havaitseminen voisi auttaa muuttamaan etäterveyden harjoittamista, ja se voisi myös edistää etäterveyden muodostumista yleiseksi terveydenhuollon muodoksi.

Lopuksi kyky ajaa suurella kuvataajuudella mahdollistaa opportunistisen havainnoinnin (esimerkiksi mittausten saamisen joka kerta, kun katsot puhelintasi) ja auttaa kaappaamaan aaltomuodon dynamiikkaa, jota voidaan käyttää eteisvärinän, kohonneen verenpaineen ja sykevaihteluiden havaitsemiseen silloin, kun se on korkea. -kuvanopeudet (vähintään 100 Hz) ovat vaatimus tarkan mittauksen saamiseksi aaltomuodon dynamiikasta.

Kaikki yksityiskohdat ovat luettavissa ryhmän paperista "Multi-Task Temporal Shift Attention Networks for On-Device Contactless Vitals Measurement", joka on hyväksytty 34. hermoston tiedonkäsittelyjärjestelmien konferenssissa (NeurIPS 2020) ja esitellään Spotlight-keskustelu maanantaina 7. joulukuuta klo 6–15 (PT).