Förbättra Google Assistant: "Look and Talk", fler snabba fraser, förbättrad hudtonsigenkänning och framtida utveckling

Vi har sett en hel del förbättringar i Google Assistant den senaste tiden. En av de bästa sakerna att lyfta fram är företagets tjänsteman meddelande av mjukvaruapplikationens nya funktion som heter "Look and Talk" under dess Google I/O keynote. Ändå finns det också andra detaljer värda att nämna och uppskatta, speciellt om du i hög grad litar på assistenten i dina dagliga aktiviteter. Dessa inkluderar Google Assitants förbättring när det gäller att känna igen hudtoner och utöka dess bibliotek med snabba fraser.

Nyligen har den nya Look and talk-funktionen som introducerats av Google setts rulla ut till alla Nest Hub Max användare i USA. Huvudtanken bakom det är enkel: gör användarnas interaktion med enheten enklare och framför allt mer naturlig. Detta förenklar leveransen av kommandon till Google Assistent genom att ta bort ledordet "Hey Google" varje gång en person behöver aktivera Nest Hub Max. Funktionen fungerar genom samordning av olika tekniker integrerade av Google. Specifikt använder Look and Talk funktionerna Face Match och Voice Match i systemet, vilket hjälper det att avgöra när det ska svara.

Med hjälp av Look and Talk-funktionen behöver användaren bara stå högst 5 fot från Nest Hub Max, stirra och styra Google Assistant. "Låt oss säga att jag måste laga min läckande diskbänk", säger Google Assistant Vice President Sissie Hsiao och försöker förklara hur Look and Talk fungerar i blogginlägget. "När jag går in i rummet kan jag bara titta på min Nest Hub Max och säga "Visa rörmokare nära mig" - utan att behöva säga "Hey Google" först."

Hsiao tillägger också att videon av interaktionerna som analyseras av assistenten "behandlas helt på enheten", vilket säkerställer att din data inte delas med Google eller andra appar från tredje part. Hsiao betonar också att den nya funktionen respekterar integritet, så du har möjlighet att välja in eller bort från den när som helst. Den är initialt avaktiverad och du måste slå på den via Google Home-appen. Gå bara till enhetsinställningarna för Nest Hub Max, sedan till "Igenkänning och delning", sedan till "Face Match"-menyn och växla till inställningen.

"Det händer mycket bakom kulisserna för att känna igen om du faktiskt har ögonkontakt med din enhet snarare än att bara ge den en förbigående blick", konstaterar Hsiao. "Faktum är att det krävs sex maskininlärningsmodeller för att bearbeta mer än 100 signaler från både kameran och mikrofonen - som närhet, huvudorientering, blickriktning, läpprörelser, sammanhangsmedvetenhet och avsiktsklassificering - allt i realtid."

Å andra sidan, med tanke på att Look and Talk fungerar genom Face Match, är det viktigt att notera att Google såg till att göra det effektivt för en mångfald användare genom att inkludera Real Tone-tekniken som lanserades förra året. Detta gör att Nest Hub Max-kameran kan arbeta effektivt över olika hudtoner. Dessutom lovar företaget att driva saker ytterligare genom att använda "Monk Skin Tone Scale" för att hjälpa maskinen att förstå bilder mer effektivt.

Dessutom, i hopp om att minska behovet av att säga cue-frasen "Hey Google" mer, inkluderar Google också mer snabba fraser i Nest Hub Max. Detta gör det enklare för användarna utan att behöva stirra på enhetens kamera eller stå framför den. Precis som Look and Talk kan Voice Match som hanterar arbetet med snabba fraser också stängas av och på.

Medan förbättringarna avslöjat av Google gör assistenten mer tillfredsställande den här gången, säger Google att den fortfarande har fler planer för programvaran i framtiden. Det inkluderar att ge det bättre tal- och språkmodeller för att "förstå nyanserna av mänskligt tal." Från och med nu arbetar företaget på ett specialkonstruerat Tensor-chip för att tillåta assistenten att hantera maskininlärningsuppgifter på enheten på snabbast möjliga sätt. När den väl har lyckats säger Google att denna lovande teknik kommer att hjälpa assistenten att få en bättre förståelse av mänskligt tal även med närvaron av onödiga fyllmedel (som "uhm" eller "ahh") och pausar när någon talar.