Microsoft hakee runsaasti patentteja tietokoneen mielenhallintaan

Aivojen ja tietokoneen rajapinnoissa on tapahtunut jonkinlainen vallankumous uusien koneoppimistekniikoiden ansiosta, jotka nyt pystyvät rekonstruoida ajatuksiasi olevat kuvat visuaalisesta aivokuorestasi esimerkiksi lukemalla suoraan neurologista toimintaasi.

Microsoft on Microsoft on ajatellut tapoja, joilla näitä ei-invasiivisia tekniikoita voitaisiin käyttää tietokoneen ohjaamiseen. He ovat julkaisseet useita patentteja, jotka käsittelevät asiaa, mukaan lukien:

SOVELLUKSEN TILAN MUUTTAMINEN NEUROLOGISTEN TIETOJEN KÄYTTÄMINEN

 Tietokonejärjestelmät, menetelmät ja tallennusvälineet sovelluksen tilan muuttamiseen havaitsemalla tietyn sovelluksen tilan tiettyyn toimintoon liittyvät neurologiset käyttäjän aikomustiedot ja muuttamalla sovelluksen tilaa siten, että tietty toiminto voidaan suorittaa sovelluksen tarkoittamalla tavalla. käyttäjä. Sovelluksen tila muutetaan automaattisesti aiotun toimenpiteen mukaiseksi vastaanotettujen neurologisten käyttäjän tarkoitustietojen perusteella, jotta aiottu toimenpide suoritetaan. Jotkut suoritusmuodot liittyvät tietokonejärjestelmään, joka luo tai päivittää tilakoneen harjoitusprosessin kautta sovelluksen tilan muuttamiseksi havaitun neurologisen datan mukaan.

Patentti ehdottaa, että lukemalla käyttäjän aivojen toimintaa sovellus voi automaattisesti suorittaa käyttäjän aikoman toiminnan.

Hieman vähemmän kunnianhimoisesti seuraava patentti ehdottaa, että käyttäjät voisivat käyttää neurologista toimintaasi PC:n analogisena ohjauksena, kuten tietokoneen äänenvoimakkuuden säätämiseen tai hiiren liikuttamiseen.

JATKUVAT LIIKKEOHJAUKSET, JOITA KÄYTETÄÄN NEUROLOGISTEN TIETOJEN KÄYTTÖÖN

Tietokonejärjestelmät, menetelmät ja tallennusvälineet jatkuvan liikkeenohjauksen generoimiseksi käyttämällä neurologisia tietoja ja jatkuvan liikkeen ohjauksen yhdistämiseksi jatkuvaan käyttöliittymän ohjaukseen käyttöliittymän ohjauksen analogisen ohjauksen mahdollistamiseksi. Käyttöliittymän ohjausta moduloidaan käyttäjän fyysisten liikkeiden avulla jatkuvan liikkeen ohjaukseen liittyvällä jatkuvalla liikealueella. Jatkuva liikeohjaus mahdollistaa vastaavan käyttöliittymäohjauksen hienosäädetyn ja jatkuvan ohjauksen, toisin kuin pieneen määrään erillisiä asetuksia rajoitettua ohjausta.

Microsoft ehdottaa myös, että aivojen toiminta voisi yksinkertaisesti muuttaa tietokoneen tilaa (esim. siirtyminen tablettitilaan tai aivojen ohjaustilaan).

TIETOKONELAITTEEN MUOKKAAMINEN KÄYTTÄJÄN AIVOTOIMINNAN PERUSTUKSESSA

Tässä kuvataan tekniikoita laskentalaitteen modaliteetin modifioimiseksi käyttäjän aivotoiminnan perusteella. Koneoppimisen luokittelija opetetaan käyttämällä dataa, joka tunnistaa laskentalaitteen käyttötavan, ja dataa, joka tunnistaa laskentalaitteen käyttäjän aivotoiminnan. Kun koneoppimisen luokitin on koulutettu, se voi valita tietokonelaitteelle toimintatavan käyttäjän nykyisen aivotoiminnan ja mahdollisesti muiden biologisten tietojen perusteella. Laskentalaitetta voidaan sitten käyttää valitun modaliteetin mukaisesti. Sovellusohjelmointirajapinta voi myös paljastaa rajapinnan, jonka kautta käyttöjärjestelmä ja laskentalaitteessa suoritettavat sovellusohjelmat voivat saada dataa, joka tunnistaa koneoppimisluokittajan valitseman modaliteetin. Näiden tietojen avulla käyttöjärjestelmä ja sovellusohjelmat voivat muokata toimintatapaansa parhaiten sopivaksi käyttäjän tämänhetkiseen mielentilaan.

Mielenkiintoisin Microsoft ehdottaa, että aivotoimintaa voitaisiin käyttää kiinnostavien kohteiden erottamiseen käyttäjän näkökentästä käytettäessä päähän kiinnitettävää näyttöä, kuten Microsoft HoloLensiä.

KÄYTTÖLIITTYMÄN MUOKKAAMINEN KÄYTTÄJÄN AIVOJEN AKTIIVISUUDEN JA KATSEEN PERUSTUKSESSA

Tässä kuvataan tekniikoita tietokonelaitteen tarjoaman käyttöliittymän ("UI") muokkaamiseksi käyttäjän aivotoiminnan ja katseen perusteella. Koneoppimisluokittajaa opetetaan käyttämällä dataa, joka tunnistaa tietokonelaitteen tarjoaman käyttöliittymän tilan, laskentalaitteen käyttäjän aivotoiminnan sekä käyttäjän katseen sijainnin. Kun luokitin on koulutettu, se voi valita tilan tietokonelaitteen tarjoamalle käyttöliittymälle aivotoiminnan ja käyttäjän katseen perusteella. Käyttöliittymä voidaan sitten määrittää valitun tilan perusteella. API voi myös paljastaa rajapinnan, jonka kautta käyttöjärjestelmä ja ohjelmat voivat saada tietoja, jotka tunnistavat koneoppimisluokittajan valitseman käyttöliittymän tilan. Näiden tietojen avulla käyttöliittymä voidaan konfiguroida sopimaan käyttäjän tämänhetkiseen henkiseen tilaan ja katseeseen.

Mielenkiintoista tässä on tietysti se, että käyttäjällä olisi jo päässään jotain, joka voisi myös lukea hänen neurologisia signaalejaan EEG:n tai muun tavan kautta.

Microsoftin keksijät näyttävät olevan peräisin Surface- ja HoloLens-tiimistä, vaikka yksi heistä on lähtenyt PerceptivePixel.io:lle.

Patentit jätettiin vasta toukokuussa 2017 ja julkaistiin muutama päivä sitten. Ei tiedetä, aikooko Microsoft käyttää näitä ideoita aputeknologiana vai onko se tarkoitettu kaikille, mutta tämä antaa meille esimakua tulevaisuudesta, jossa handsfree-ohjaus ei enää tarkoita pelkkää ääntä.