Microsoft Research создает интеллектуального виртуального помощника с помощью своего проекта интерактивного взаимодействия

Значок времени чтения 3 минута. читать

Значок календаря Опубликовано 9 апреля 2014

Опубликован в 9 апреля 2014

Читатели помогают поддержать MSpoweruser. Мы можем получить комиссию, если вы совершите покупку по нашим ссылкам.

Пока мы все ждем, чтобы попробовать цифровой помощник Cortana на Windows Phone 8.1, Microsoft Research работает над виртуальными помощниками, которые могут выполнять вашу работу в реальной жизни, общаться с другими людьми и многое другое. Долгосрочная цель Microsoft Research Расположенное взаимодействие Целью проекта является создание интерактивных систем нового поколения, которые глубоко внедряют взаимодействие и вычисления в естественный поток повседневных задач, действий и совместной работы. Примеры сценариев включают взаимодействие человека и робота, электронный дом, интерактивные рекламные щиты, системы, которые контролируют, помогают и координируют группы экспертов посредством сложных задач и процедур и т. д.

Такой помощник может координировать свои действия с помощниками других людей, помогая планировать общественные мероприятия, рабочие обязательства и поездки. Он может предугадывать ваши потребности, основываясь на прошлых действиях, например, о том, где вы наслаждались обедом, и координировать свои действия с предприятиями, которые предлагают специальные предложения. Это может помочь вам выбрать фильм на основе тех, которые понравились вашим друзьям.

«Умные, поддерживающие помощники, которые помогают и дополняют людей, являются ключевым стремлением в компьютерных науках, — говорит Хорвиц, — и фундаментальные исследования в этой области включают сбор данных и наблюдение за людьми, разговаривающими, сотрудничающими и помогающими друг другу, чтобы мы могли узнать, как лучше всего разработать системы, которые могут выполнять эту роль».

Текущий виртуальный помощник Microsoft Monica имеет следующие функции взаимодействия.

Основное взаимодействие: иллюстрирует базовое взаимодействие одного участника с системой. Обратите внимание на различные уровни анализа сцены (система отслеживает лицо и позу пользователя, выводит информацию об одежде, принадлежности, целях задачи и т. д.) и модель естественного взаимодействия (система взаимодействует при приближении пользователя).

Выводы сцены и заземление: системы делают вывод о целях пользователя на основе анализа сцены (пользователь одет формально, поэтому, скорее всего, является внешним, поэтому, вероятно, хочет зарегистрироваться), но обосновывает эту информацию через диалог. Обратите также внимание на заземление номера здания.

Моделирование внимания и вовлеченность: система отслеживает внимание пользователя (используя информацию от детектора лиц и трекера позы) и соответствующим образом привлекает пользователя.

Работа с людьми, ожидающими в очереди: система отслеживает нескольких пользователей в сцене и подтверждает присутствие ожидающего пользователя быстрым взглядом (красная точка показывает взгляд системы) и временно вовлекает их в конце разговора.

Повторное участие: то же, что и выше, только когда система возвращается назад, первоначальный пользователь больше не обращает внимания. Зная, что человек стоит в очереди, система обращает внимание пользователя и повторно вовлекается, говоря «Извините!»

Диалог с несколькими участниками: система делает вывод из сцены (и подтверждает через диалог), что два участника вместе находятся в группе. Затем система продолжает разговор с несколькими участниками. Обратите внимание на модель взгляда (красная точка), которая представляет собой информацию о том, кто является говорящим участником, а также некоторые элементы в структуре дискурса.

Многосторонний диалог с побочным разговором: аналогично предыдущему взаимодействию; в конце пользователи участвуют в побочном разговоре. Система понимает, что высказывания адресованы не ей, и через некоторое время прерывает двух пользователей, чтобы передать информацию о шаттле. Обратите также внимание на взаимодействие с сенсорным экраном, которое используется в качестве запасного варианта в случаях сбоя распознавания речи.

Многосторонний диалог с ожидающим третьим лицом: это также иллюстрирует, как система обрабатывает ожидающего участника при взаимодействии с группой из двух пользователей.

Узнайте больше об этом проекте от Microsoft Research.

Подробнее о темах: Microsoft, исследованиям, Роботы, Расположенное взаимодействие, умный, Виртуальный помощник

Прадип Вишвав

Эксперт по программному обеспечению и услугам

Прадип — выпускник компьютерных наук и инженерии. Он также был студенческим партнером Microsoft. В настоящее время работает в ведущей IT-компании.

Оставьте комментарий