Улучшение Google Assistant: «Смотри и говори», больше быстрых фраз, улучшенное распознавание тона кожи и будущие разработки

В последнее время мы наблюдаем множество улучшений в Google Assistant. Одна из лучших вещей, на которую следует обратить внимание, — это официальное объявление о новой функции программного приложения под названием «Смотри и говори» во время основного доклада Google I/O. Тем не менее, есть и другие детали, которые стоит упомянуть и оценить, особенно если вы сильно полагаетесь на помощника в своей повседневной деятельности. К ним относятся улучшение Google Assitant с точки зрения распознавания оттенков кожи и расширение библиотеки быстрых фраз.

В последнее время новая функция Look and Talk, представленная Google, широко распространена во всех странах мира. Гнездо Хаб Макс пользователей в США. Основная идея проста: сделать взаимодействие пользователей с устройством более простым и, самое главное, более естественным. Это упрощает доставку команд в Google Assitant, удаляя ключевую фразу «Привет, Google» каждый раз, когда человеку нужно активировать Nest Hub Max. Эта функция работает за счет координации различных технологий, интегрированных Google. В частности, Look and Talk использует возможности системы Face Match и Voice Match, помогая определить, когда следует реагировать.

Используя функцию «Смотри и говори», пользователю просто нужно стоять на расстоянии не более 5 футов от Nest Hub Max, смотреть и командовать. Google Assistant. «Допустим, мне нужно починить протекающую кухонную раковину», — говорит помощник вице-президента Google Сисси Сяо, пытаясь объяснить, как работает Look and Talk в своем блоге. «Когда я захожу в комнату, я могу просто посмотреть на свой Nest Hub Max и сказать «Покажи сантехников рядом со мной» — без необходимости сначала говорить «Окей, Google»».

Сяо также добавляет, что видео взаимодействий, анализируемых помощником, «полностью обрабатывается на устройстве», гарантируя, что ваши данные не будут переданы Google или любым другим сторонним приложениям. Сяо также подчеркивает, что новая функция уважает конфиденциальность, поэтому у вас есть возможность включить или отключить ее в любое время. Изначально он деактивирован, и вам нужно включить его через приложение Google Home. Просто перейдите в настройки устройства Nest Hub Max, затем в «Распознавание и совместное использование», затем в меню «Face match» и включите настройку.

«За кулисами происходит многое, чтобы определить, действительно ли вы смотрите в глаза своему устройству, а не просто бросаете на него мимолетный взгляд», — отмечает Сяо. «На самом деле, требуется шесть моделей машинного обучения для обработки более 100 сигналов как с камеры, так и с микрофона, таких как близость, ориентация головы, направление взгляда, движение губ, понимание контекста и классификация намерений — все в режиме реального времени».

С другой стороны, учитывая, что Look and Talk работает через Face Match, важно отметить, что Google позаботился о том, чтобы сделать его эффективным для самых разных пользователей, включив технологию Real Tone, запущенную в прошлом году. Это позволяет камере Nest Hub Max эффективно работать с разными оттенками кожи. Кроме того, компания обещает продвинуться вперед, используя «шкалу тона кожи монаха», чтобы помочь машине более эффективно понимать изображения.

Кроме того, в надежде уменьшить необходимость произносить ключевую фразу «Привет, Google» чаще, Google также включает больше быстрые фразы в Nest Hub Макс. Это упрощает работу пользователей, избавляя их от необходимости смотреть в камеру устройства или стоять перед ней. Как и Look and Talk, Voice Match, управляющий работой быстрых фраз, также можно включать и выключать.

Хотя улучшения, представленные Google, на этот раз делают Assistant более удобным, Google заявляет, что у него все еще есть планы на будущее. Это включает в себя улучшение речи и языковых моделей, чтобы «понимать нюансы человеческой речи». На данный момент компания работает над специально разработанным чипом Tensor, который позволит Assistant максимально быстро выполнять задачи машинного обучения на устройстве. Google говорит, что в случае успеха эта многообещающая технология поможет Ассистенту лучше понимать человеческую речь даже при наличии ненужных наполнителей (например, «хм» или «ааа») и делает паузы, когда кто-то говорит.