Forbedre Google Assistant: «Look and Talk», flere raske fraser, forbedret hudtonegjenkjenning og fremtidig utvikling

Vi har sett mange forbedringer i Google Assistant den siste tiden. En av de beste tingene å fremheve er selskapets offisielle kunngjøring av programvareapplikasjonens nye funksjon kalt "Look and Talk" under Google I/O keynote. Ikke desto mindre er det også andre detaljer som er verdt å nevne og sette pris på, spesielt hvis du er veldig avhengig av assistenten i dine daglige aktiviteter. Disse inkluderer Google Assitants forbedring når det gjelder å gjenkjenne hudtoner og utvidelse av biblioteket med raske fraser.

Nylig har den nye Look and talk-funksjonen introdusert av Google sett rulles ut bredt til alle Nest Hub Max brukere i USA. Hovedideen bak er enkel: Gjør brukernes interaksjoner med enheten enklere og mest av alt mer naturlig. Dette forenkler leveringen av kommandoer til Google Assitant ved å fjerne signalsetningen «Hey Google» hver gang en person trenger å aktivere Nest Hub Max. Funksjonen fungerer gjennom koordinering av ulike teknologier integrert av Google. Spesielt bruker Look and Talk funksjonene Face Match og Voice Match i systemet, og hjelper det med å bestemme når det skal svare.

Ved å bruke Look and Talk-funksjonen trenger brukeren ikke å stå mer enn 5 fot unna Nest Hub Max, stirre og kommandere Google Assistant. «La oss si at jeg må fikse den utette kjøkkenvasken min,» sier Google Assistant Vice President Sissie Hsiao, og prøver å forklare hvordan Look and Talk fungerer i blogginnlegget. «Når jeg går inn i rommet, kan jeg bare se på Nest Hub Max og si «Vis rørleggere nær meg» – uten å måtte si «Hey Google» først.»

Hsiao legger også til at videoen av interaksjonene som analyseres av assistenten "behandles utelukkende på enheten", og sikrer at dataene dine ikke blir delt med Google eller andre tredjepartsapper. Hsiao understreker også at den nye funksjonen respekterer personvernet, så du har muligheten til å velge deg inn eller ut når som helst. Den er først deaktivert, og du må slå den på via Google Home-appen. Bare gå til enhetsinnstillingen for Nest Hub Max, deretter til «Gjenkjenning og deling», deretter til «Face Match»-menyen, og slå på innstillingen.

"Det er mye som skjer bak kulissene for å gjenkjenne om du faktisk har øyekontakt med enheten din i stedet for bare å gi den et forbigående blikk," bemerker Hsiao. "Faktisk krever det seks maskinlæringsmodeller for å behandle mer enn 100 signaler fra både kamera og mikrofon - som nærhet, hodeorientering, blikkretning, leppebevegelse, kontekstbevissthet og intensjonsklassifisering - alt i sanntid."

På den annen side, gitt at Look and Talk fungerer gjennom Face Match, er det viktig å merke seg at Google sørget for å gjøre det effektivt for et mangfold av brukere ved å inkludere Real Tone-teknologien den lanserte i fjor. Dette gjør at Nest Hub Max-kameraet kan jobbe effektivt på tvers av forskjellige hudtoner. I tillegg lover selskapet å presse ting videre ved å bruke "Monk Skin Tone Scale" for å hjelpe maskinen til å forstå bilder mer effektivt.

Dessuten, i håp om å redusere behovet for å si cue-frasen «Hey Google» mer, inkluderer Google også mer raske setninger i Nest Hub Max. Dette gjør ting enklere for brukere uten å måtte stirre på enhetens kamera eller stå foran det. I likhet med Look and Talk, kan Voice Match som styrer arbeidet med raske fraser også slås av og på.

Mens forbedringene avslørt av Google gjør assistenten mer tilfredsstillende denne gangen, sier Google at den fortsatt har flere planer for programvaren i fremtiden. Det inkluderer å gi det bedre tale- og språkmodeller for å «forstå nyansene i menneskelig tale». Per nå jobber selskapet med en spesialkonstruert Tensor-brikke for å la assistenten håndtere maskinlæringsoppgaver på enheten på en raskest mulig måte. Når den har lykkes, sier Google at denne lovende teknologien vil hjelpe assistenten til å få en bedre forståelse av menneskelig tale selv med tilstedeværelsen av unødvendige fyllstoffer (som "uhm" eller "ahh") og pauser når noen snakker.