Ulepszanie Asystenta Google: „Patrz i mów”, szybsze wypowiadanie wyrażeń, ulepszone rozpoznawanie odcienia skóry i przyszłe zmiany

Ostatnio widzimy wiele ulepszeń w Asystencie Google. Jedną z najlepszych rzeczy do podkreślenia jest urzędnik firmy zapowiedź nowej funkcji aplikacji o nazwie „Look and Talk” podczas przemówienia przewodniego Google I/O. Niemniej jednak istnieją również inne szczegóły, o których warto wspomnieć i docenić, zwłaszcza jeśli w swoich codziennych czynnościach bardzo polegasz na Asystencie. Należą do nich udoskonalenie Google Assitant w zakresie rozpoznawania odcieni skóry oraz rozbudowa biblioteki szybkich fraz.

Ostatnio nowa funkcja „Wyglądaj i mów” wprowadzona przez Google jest powszechnie dostępna dla wszystkich Gniazdo piasty Max użytkowników w USA. Główna idea jest prosta: sprawić, by interakcje użytkowników z urządzeniem były prostsze, a przede wszystkim bardziej naturalne. Upraszcza to dostarczanie poleceń do Asystenta Google poprzez usunięcie frazy „Hej Google” za każdym razem, gdy dana osoba musi aktywować Nest Hub Max. Funkcja działa poprzez koordynację różnych technologii zintegrowanych przez Google. W szczególności Look and Talk wykorzystuje funkcje Face Match i Voice Match systemu, pomagając mu określić, kiedy ma zareagować.

Korzystając z funkcji Patrz i mów, użytkownik musi tylko stanąć nie dalej niż 5 stóp od Nest Hub Max, gapić się i wydawać polecenia Google Assistant. „Powiedzmy, że muszę naprawić przeciekający zlew kuchenny” — mówi wiceprezes Asystenta Google Sissie Hsiao, próbując wyjaśnić w poście na blogu, jak działa Look and Talk. „Kiedy wchodzę do pokoju, mogę po prostu spojrzeć na mój Nest Hub Max i powiedzieć „Pokaż hydraulików w pobliżu” — bez konieczności wcześniejszego mówienia „Hej Google”.

Hsiao dodaje również, że wideo z interakcji analizowanych przez Asystenta jest „przetwarzane całkowicie na urządzeniu”, co zapewnia, że ​​Twoje dane nie są udostępniane Google ani żadnym innym aplikacjom innych firm. Hsiao podkreśla również, że nowa funkcja szanuje prywatność, więc możesz w dowolnym momencie włączyć lub wyłączyć tę funkcję. Jest początkowo dezaktywowany i musisz go włączyć za pomocą aplikacji Google Home. Po prostu przejdź do ustawień urządzenia Nest Hub Max, następnie do „Rozpoznawanie i udostępnianie”, a następnie do menu „Dopasowanie twarzy” i włącz ustawienie.

„Za kulisami wiele się dzieje, aby rozpoznać, czy rzeczywiście nawiązujesz kontakt wzrokowy ze swoim urządzeniem, a nie tylko rzucasz na nie przelotne spojrzenie”, zauważa Hsiao. „W rzeczywistości potrzeba sześciu modeli uczenia maszynowego, aby przetworzyć ponad 100 sygnałów z kamery i mikrofonu — takich jak bliskość, orientacja głowy, kierunek patrzenia, ruch warg, świadomość kontekstu i klasyfikacja intencji — wszystko w czasie rzeczywistym”.

Z drugiej strony, biorąc pod uwagę, że Look and Talk działa poprzez Face Match, ważne jest, aby pamiętać, że Google zadbał o to, aby był skuteczny dla różnych użytkowników, włączając technologię Real Tone, którą uruchomiono w zeszłym roku. Dzięki temu kamera Nest Hub Max może wydajnie pracować w różnych odcieniach skóry. Ponadto firma obiecuje posunąć się dalej, wykorzystując „Skalę odcieni skóry mnicha”, aby pomóc maszynie bardziej efektywnie rozumieć obrazy.

Co więcej, w nadziei na zmniejszenie potrzeby częstszego wypowiadania frazy przewodniej „Hej Google”, Google uwzględnia również więcej szybkie zwroty w Nest Hub Max. Ułatwia to użytkownikom pracę bez konieczności wpatrywania się w aparat urządzenia lub stania przed nim. Podobnie jak Look and Talk, Voice Match, który zarządza pracą szybkich fraz, można również wyłączyć i włączyć.

Podczas gdy ulepszenia ujawnione przez Google sprawiają, że Asystent jest tym razem bardziej satysfakcjonujący, Google twierdzi, że wciąż ma więcej planów dotyczących oprogramowania w przyszłości. Obejmuje to nadanie mu lepszych modeli mowy i języka, aby „zrozumieć niuanse mowy ludzkiej”. Obecnie firma pracuje nad specjalnie zaprojektowanym chipem Tensor, aby umożliwić Asystentowi obsługę zadań uczenia maszynowego na urządzeniu w najszybszy możliwy sposób. Po sukcesie Google twierdzi, że ta obiecująca technologia pomoże Asystentowi lepiej rozumieć ludzką mowę, nawet przy obecności niepotrzebnych wypełniaczy (takich jak „uhm” lub „ahh”) i zatrzymuje się, gdy ktoś mówi.