Microsoft представить придушення шуму на основі штучного інтелекту в Microsoft Teams на Mac і мобільних платформах

Минулого місяця Microsoft оголошений розгортання функції придушення шуму у фоновому режимі в режимі реального часу для користувачів Microsoft Teams Windows. Ця функція може придушити непотрібний шум, як-от перетасування паперів, грюкання дверима та гавкіт собак під час виклику Teams. Придушення шуму на основі штучного інтелекту працює шляхом аналізу аудіоканалу людини та використання спеціально навчених глибоких нейронних мереж, щоб відфільтрувати шум і зберегти лише мовний сигнал. Сьогодні Microsoft оголосила, що працює над впровадженням шумоподавлення на основі штучного інтелекту в Microsoft Teams на Mac і мобільних платформах.

Сьогодні Microsoft також пояснила, як вони розробили цю функцію без використання фактичних даних клієнтів. Microsoft оптимізувала модель глибокого навчання таким чином, щоб вона могла ефективно працювати на настільному клієнті Teams в режимі реального часу без особливих витрат.

Щоб досягти такої різноманітності наборів даних, ми створили великий набір даних із приблизно 760 годинами чистої мови та 180 годинами даних про шум. Щоб відповідати суворим стандартам конфіденційності Microsoft, ми гарантували, що для цього набору даних не збираються дані клієнтів. Натомість ми використовували загальнодоступні дані або краудсорсинг для збору конкретних сценаріїв. Для чистого мовлення ми забезпечили баланс між жіночим і чоловічим мовленням, і ми зібрали дані з 10+ мов, які також включають тональні мови, щоб переконатися, що наша модель не змінить значення речення, спотворюючи тон слів. Для даних про шум ми включили 150 типів шуму, щоб гарантувати, що ми охоплюємо різноманітні сценарії, з якими можуть зіткнутися наші клієнти, від набору тексту з клавіатури до змивання води в туалеті чи хропіння. Іншим важливим аспектом було включення емоцій у нашу чисту мову, щоб не придушувалися такі вирази, як сміх чи плач. Характеристики середовища, з якого наші клієнти приєднуються до своїх онлайн-зустрічей Teams, також сильно впливають на мовний сигнал. Щоб охопити це різноманіття, ми навчили нашу модель з даними з більш ніж 3,000 реальних кімнат і понад 115,000 XNUMX синтетично створених кімнат.

Оскільки ми використовуємо глибоке навчання, важливо мати потужну модельну інфраструктуру навчання. Ми використовуємо Microsoft Azure, щоб дозволити нашій команді розробляти покращені версії нашої моделі ML. Інша проблема полягає в тому, що вилучення оригінальної чистої мови з шуму має здійснюватися таким чином, щоб людське вухо сприймало як природне та приємне. Оскільки немає об’єктивних показників, які б тісно пов’язані з людським сприйняттям, ми розробили структуру, яка дозволила нам надсилати оброблені аудіосемпи постачальникам краудсорсингу, де люди-слухачі оцінювали якість звуку за шкалою від однієї до п’яти зірок, щоб отримати середні оцінки думки. (MOS). Завдяки цим оцінкам людини ми змогли розробити нову перцептивну метрику, яка разом із суб’єктивними оцінками людини дозволила нам швидко прогресувати у покращенні якості наших моделей глибокого навчання.

Ось як ви можете ввімкнути функцію придушення шуму в Teams:

1. Виберіть зображення профілю у верхньому правому куті Teams, а потім виберіть Налаштування.

2. Select прилади ліворуч, а потім під Придушення шуму, виберіть параметр.

3. З вікна зустрічі:
   1. Select Більше опцій  в елементах керування нарадою, а потім виберіть Налаштування пристрою.

   2. під Придушення шуму, виберіть параметр.

джерело: Microsoft