Microsoft registruje množstvo patentov na ovládanie počítačovej mysle

V rozhraniach mozog-počítač došlo k určitej revolúcii vďaka novým technikám strojového učenia, ktoré sú teraz schopné rekonštruujte obrazy, na ktoré myslíte, zo svojej zrakovej kôry napríklad priamym čítaním vašej neurologickej aktivity.

Microsoft ako Microsoft vymyslel spôsoby, ako by sa tieto neinvazívne techniky dali použiť na ovládanie počítača. Zverejnili niekoľko patentov týkajúcich sa tohto bodu, medzi ktoré patria:

ZMENA STAVU APLIKÁCIE POMOCOU NEUROLOGICKÝCH ÚDAJOV

 Počítačové systémy, metódy a pamäťové médiá na zmenu stavu aplikácie zisťovaním údajov o neurologických zámeroch používateľa spojených s konkrétnou operáciou konkrétneho stavu aplikácie a zmenou stavu aplikácie tak, aby umožnili vykonanie konkrétnej operácie podľa zámeru užívateľ. Stav aplikácie sa automaticky zmení tak, aby bol v súlade so zamýšľanou operáciou, ako je určené prijatými údajmi neurologického zámeru používateľa, aby sa vykonala zamýšľaná operácia. Niektoré uskutočnenia sa týkajú počítačového systému, ktorý vytvára alebo aktualizuje stavový stroj prostredníctvom tréningového procesu na zmenu stavu aplikácie podľa zistených neurologických údajov.

Patent naznačuje, že načítaním mozgovej aktivity používateľa môže aplikácia automaticky vykonať zamýšľanú akciu používateľa.

O niečo menej ambiciózne nasledujúci patent naznačuje, že používatelia by mohli použiť vašu neurologickú aktivitu ako analógové ovládanie počítača, napríklad ovládanie hlasitosti počítača alebo pohyb myši.

OVLÁDACIE PRVKY KONTINUÁLNEHO POHYBU OVLÁDANÉ POMOCOU NEUROLOGICKÝCH ÚDAJOV

Počítačové systémy, spôsoby a pamäťové médiá na generovanie kontinuálneho riadenia pohybu pomocou neurologických údajov a na spojenie kontinuálneho riadenia pohybu s kontinuálnym riadením používateľského rozhrania, aby sa umožnilo analógové riadenie riadenia používateľského rozhrania. Ovládanie používateľského rozhrania je modulované prostredníctvom fyzických pohybov používateľa v rámci nepretržitého rozsahu pohybu spojeného s riadením nepretržitého pohybu. Nepretržité ovládanie pohybu umožňuje jemne vyladené a nepretržité ovládanie zodpovedajúceho ovládania používateľského rozhrania na rozdiel od ovládania obmedzeného na malý počet diskrétnych nastavení.

Microsoft tiež naznačuje, že mozgová aktivita by mohla jednoducho zmeniť režim počítača (napr. prechod na režim tabletu alebo režim ovládania mozgu).

ÚPRAVA MODALITY VÝPOČTOVÉHO ZARIADENIA NA ZÁKLADE MOZGOVEJ AKTIVITY POUŽÍVATEĽA

Sú tu opísané technológie na úpravu modality výpočtového zariadenia na základe mozgovej aktivity používateľa. Klasifikátor strojového učenia sa trénuje pomocou údajov, ktoré identifikujú spôsob ovládania výpočtového zariadenia a údajov identifikujúcich mozgovú aktivitu používateľa výpočtového zariadenia. Po zaškolení môže klasifikátor strojového učenia vybrať režim prevádzky výpočtového zariadenia na základe aktuálnej mozgovej aktivity používateľa a prípadne aj ďalších biologických údajov. Výpočtové zariadenie potom môže byť prevádzkované v súlade so zvolenou modalitou. Aplikačné programové rozhranie môže tiež odhaliť rozhranie, prostredníctvom ktorého operačný systém a aplikačné programy vykonávané na výpočtovom zariadení môžu získať dáta identifikujúce modalitu vybranú klasifikátorom strojového učenia. Pomocou týchto údajov môže operačný systém a aplikačné programy upraviť svoj režim činnosti tak, aby bol najvhodnejší pre aktuálny duševný stav používateľa.

Najzaujímavejšie je, že spoločnosť Microsoft navrhuje, aby sa mozgová aktivita mohla použiť na rozpoznanie predmetov záujmu vo zornom poli používateľa pri použití displeja namontovaného na hlave, ako je napríklad Microsoft HoloLens.

ÚPRAVA POUŽÍVATEĽSKÉHO ROZHRANIA NA ZÁKLADE MOZGOVEJ ČINNOSTI A POHĽADU POUŽÍVATEĽA

Sú tu opísané technológie na úpravu používateľského rozhrania („UI“) poskytovaného výpočtovým zariadením na základe mozgovej aktivity a pohľadu používateľa. Klasifikátor strojového učenia sa trénuje pomocou údajov, ktoré identifikujú stav používateľského rozhrania poskytnutého výpočtovým zariadením, údajov identifikujúcich mozgovú aktivitu používateľa výpočtového zariadenia a údajov identifikujúcich polohu pohľadu používateľa. Po zaškolení môže klasifikátor vybrať stav používateľského rozhrania poskytovaného výpočtovým zariadením na základe mozgovej aktivity a pohľadu používateľa. Používateľské rozhranie je potom možné nakonfigurovať na základe zvoleného stavu. Rozhranie API môže tiež odhaliť rozhranie, prostredníctvom ktorého môže operačný systém a programy získať údaje identifikujúce stav používateľského rozhrania vybratý klasifikátorom strojového učenia. Pomocou týchto údajov je možné konfigurovať používateľské rozhranie tak, aby vyhovovalo aktuálnemu duševnému stavu a pohľadu používateľa.

Zaujímavé na tom, samozrejme, je, že používateľ by už mal na hlave niečo, čo by mohlo čítať aj jeho neurologické signály prostredníctvom EEG alebo inej modality.

Zdá sa, že vynálezcovia z Microsoftu pochádzajú z tímu Surface a HoloLens, hoci jeden z nich odišiel do PerceptivePixel.io.

Patenty boli podané ešte v máji 2017 a zverejnené pred niekoľkými dňami. Nie je známe, či má Microsoft v úmysle použiť tieto nápady ako asistenčnú technológiu alebo či je to niečo, čo zamýšľajú pre každého, ale dáva nám to ochutnať budúcnosť, kde ovládanie handsfree už neznamená iba hlas.