Microsoft Research bygger en smart virtuell assistent med sitt belägna interaktionsprojekt

Lästid ikon 3 min. läsa


Läsare hjälper till att stödja MSpoweruser. Vi kan få en provision om du köper via våra länkar. Verktygstipsikon

Läs vår informationssida för att ta reda på hur du kan hjälpa MSPoweruser upprätthålla redaktionen Läs mer

Microsoft Monica Virtual Assistant

Medan vi alla väntar på att få prova Cortana digital assistant på Windows Phone 8.1, arbetar Microsoft Research på virtuella assistenter som kan hantera ditt arbete i verkliga livet med andra människor och mer. Microsoft Researchs långsiktiga mål Belägen interaktion Projektet är att möjliggöra en ny generation av interaktiva system som integrerar interaktion och beräkning djupt i det naturliga flödet av vardagliga uppgifter, aktiviteter och samarbeten. Exempel på scenarier inkluderar interaktion mellan människa och robot, e-hem, interaktiva skyltar, system som övervakar, assisterar och koordinerar team av experter genom komplexa uppgifter och procedurer, etc.

En sådan assistent skulle kunna samordna med andra människors assistenter, hjälpa till att planera sociala engagemang, arbetsåtaganden och resor. Det kan förutse dina behov baserat på tidigare aktiviteter – som där du har njutit av att äta middag – och samordna med företag som erbjuder specialerbjudanden. Det kan hjälpa dig att välja en film baserat på vilka dina vänner gillade.

"Intelligenta, stödjande assistenter som hjälper och kompletterar människor är en nyckelsträvan inom datavetenskap," säger Horvitz, "och grundforskning inom detta område inkluderar att samla in data och observera människor som samtalar, samarbetar och hjälper varandra så att vi kan lära oss hur vi bäst utveckla system som kan tjäna i denna roll.”

Microsofts nuvarande Monica Virtual Assistant har följande interaktionsfunktioner.

Grundläggande interaktion: illustrerar en grundläggande interaktion med en deltagare med systemet. Lägg märke till de olika skikten av scenanalys (systemet spårar användarens ansikte och pose, härleder information om kläder, tillhörighet, uppgiftsmål, etc.) och den naturliga engagemangsmodellen (systemet engagerar sig när användaren närmar sig)
Scen slutledningar och jordning: System härleder användarmål från scenanalys (användaren är formellt klädd, därför troligen extern, och vill därför troligen ha registrering), men motiverar denna information genom dialog. Observera också jordningen av byggnadsnumret.
Uppmärksamhetsmodellering och engagemang: System övervakar användarens uppmärksamhet (med hjälp av information från ansiktsdetektorn och posetracker) och engagerar användaren därefter.
Hantera människor som står i kö: systemet övervakar flera användare i scenen och bekräftar närvaron av en väntande användare med en snabb blick (röd prick visar systemets blick) och genom att engagera dem tillfälligt mot slutet av konversationen
Återförlovning: samma som ovan, bara att när systemet vänder tillbaka är den första användaren inte längre uppmärksam. När systemet vet att en person står i kö drar systemet användarens uppmärksamhet och engagerar sig igen genom att säga "Ursäkta!"
Dialog för flera deltagare: systemet sluter sig från scenen (och bekräftar genom dialog) att de två deltagarna är i en grupp tillsammans. Systemet för sedan en konversation med flera deltagare. Lägg märke till blickmodellen (röd punkt) som är information av vem som är den talande deltagaren och även vissa element i diskursstrukturen.
Dialog med flera deltagare med sidosamtal: liknande den tidigare interaktionen; i slutet deltar användarna i en sidokonversation. Systemet förstår att yttrandena inte är riktade till det och avbryter efter ett tag de två användarna för att förmedla skyttelinformationen. Lägg också märke till interaktionen med pekskärmen som används som en reserv för fall då taligenkänning misslyckas.
Dialog med flera deltagare med en tredje person som väntar: som också illustrerar hur systemet hanterar en väntande deltagare medan det interagerar med en grupp om två användare.

Läs mer om detta projekt från Microsoft Research.

Mer om ämnena: microsoft, forskning, robotar, Belägen interaktion, smarta, Virtuell assistent

Kommentera uppropet

E-postadressen publiceras inte. Obligatoriska fält är markerade *