Microsoft представит подавление шума на основе ИИ в Microsoft Teams на Mac и мобильных платформах.

В прошлом месяце Microsoft объявило развертывание функции фонового шумоподавления на основе искусственного интеллекта в режиме реального времени для пользователей настольных компьютеров Microsoft Teams Windows. Эта функция может подавлять ненужные шумы, такие как шуршание бумаг, хлопанье дверей и лай собак во время звонка Teams. Подавление шума на основе ИИ работает путем анализа аудиопотока человека и использования специально обученных глубоких нейронных сетей для фильтрации шума и сохранения только речевого сигнала. Сегодня Microsoft объявила, что работает над внедрением подавления шума на основе ИИ в Microsoft Teams на Mac и мобильных платформах.

Сегодня Microsoft также объяснила, как они разработали эту функцию без использования реальных данных о клиентах. Microsoft оптимизировала модель глубокого обучения таким образом, чтобы она могла эффективно работать в настольном клиенте Teams в режиме реального времени без особых накладных расходов.

Чтобы добиться такого разнообразия наборов данных, мы создали большой набор данных примерно с 760 часами чистых речевых данных и 180 часами шумовых данных. Чтобы соответствовать строгим стандартам конфиденциальности Microsoft, мы позаботились о том, чтобы для этого набора данных не собирались данные о клиентах. Вместо этого мы либо использовали общедоступные данные, либо краудсорсинг для сбора конкретных сценариев. Для чистой речи мы обеспечили баланс женской и мужской речи и собрали данные из более чем 10 языков, которые также включают тональные языки, чтобы гарантировать, что наша модель не изменит значение предложения, искажая тон слов. Для данных о шуме мы включили 150 типов шума, чтобы гарантировать, что мы покрываем различные сценарии, с которыми могут столкнуться наши клиенты, от набора текста на клавиатуре до смыва в туалете или храпа. Другим важным аспектом было включение эмоций в нашу чистую речь, чтобы такие выражения, как смех или плач, не подавлялись. Характеристики среды, из которой наши клиенты присоединяются к своим онлайн-совещаниям Teams, также сильно влияют на речевой сигнал. Чтобы отразить это разнообразие, мы обучили нашу модель данным из более чем 3,000 реальных комнат и более чем 115,000 XNUMX искусственно созданных комнат.

Поскольку мы используем глубокое обучение, важно иметь мощную инфраструктуру обучения моделей. Мы используем Microsoft Azure, чтобы наша команда могла разрабатывать улучшенные версии нашей модели машинного обучения. Еще одна проблема заключается в том, что извлечение оригинальной чистой речи из шума должно производиться таким образом, чтобы человеческое ухо воспринимало его как естественное и приятное. Поскольку не существует объективных метрик, сильно коррелирующих с человеческим восприятием, мы разработали структуру, которая позволила нам отправлять обработанные образцы звука краудсорсинговым поставщикам, где люди-слушатели оценивали качество своего звука по шкале от одной до пяти звезд, чтобы получить средние оценки мнений. (МОС). С помощью этих человеческих оценок мы смогли разработать новую метрику восприятия, которая вместе с субъективными человеческими оценками позволила нам добиться быстрого прогресса в улучшении качества наших моделей глубокого обучения.

Вот как вы можете включить функцию подавления шума в Teams:

1. Выберите изображение своего профиля в правом верхнем углу Teams, а затем выберите Настройки.

2. Выберите Устройства слева, а затем под Шумоподавление, выберите параметр.

3. Из окна собрания:
   1. Выберите Дополнительные параметры  в элементах управления собранием, а затем выберите Настройки устройства.

   2. Под Шумоподавление, выберите параметр.

Источник: Microsoft