Microsoft wprowadzi do Microsoft Teams tłumienie szumów oparte na sztucznej inteligencji na platformy Mac i platformy mobilne

W zeszłym miesiącu Microsoft ogłosił wprowadzenie w czasie rzeczywistym funkcji tłumienia szumów opartej na sztucznej inteligencji dla użytkowników komputerów stacjonarnych Microsoft Teams Windows. Ta funkcja może tłumić niepotrzebny hałas, taki jak tasowanie dokumentów, trzaskanie drzwiami i szczekanie psów podczas rozmowy Teams. Tłumienie szumów oparte na sztucznej inteligencji działa poprzez analizę sygnału audio danej osoby i wykorzystanie specjalnie wyszkolonych głębokich sieci neuronowych w celu odfiltrowania szumu i zachowania tylko sygnału mowy. Firma Microsoft ogłosiła dziś, że pracuje nad wprowadzeniem tłumienia szumów opartego na sztucznej inteligencji w Microsoft Teams na komputerach Mac i platformach mobilnych.

Microsoft wyjaśnił dziś również, w jaki sposób opracował tę funkcję bez korzystania z rzeczywistych danych klientów. Firma Microsoft zoptymalizowała model uczenia głębokiego w taki sposób, aby mógł wydajnie działać na kliencie pulpitu Teams w czasie rzeczywistym bez większych nakładów.

Aby osiągnąć tę różnorodność zestawu danych, stworzyliśmy duży zestaw danych zawierający około 760 godzin czystych danych mowy i 180 godzin danych dotyczących szumu. Aby zachować zgodność ze ścisłymi standardami prywatności firmy Microsoft, zapewniliśmy, że dla tego zestawu danych nie są zbierane żadne dane klientów. Zamiast tego wykorzystaliśmy publicznie dostępne dane lub crowdsourcing, aby zebrać określone scenariusze. Aby zapewnić czystą mowę, zapewniliśmy równowagę mowy żeńskiej i męskiej oraz zebraliśmy dane z ponad 10 języków, które obejmują również języki tonalne, aby upewnić się, że nasz model nie zmieni znaczenia zdania poprzez zniekształcenie tonu słów. W przypadku danych dotyczących hałasu uwzględniliśmy 150 rodzajów dźwięków, aby zapewnić uwzględnienie różnych scenariuszy, z którymi mogą się spotkać nasi klienci, od pisania na klawiaturze po spłukiwanie toalety lub chrapanie. Innym ważnym aspektem było włączenie emocji do naszej czystej mowy, aby wyrażenia takie jak śmiech lub płacz nie były tłumione. Charakterystyki środowiska, z którego nasi klienci dołączają do swoich spotkań online Teams, mają również silny wpływ na sygnał mowy. Aby uchwycić tę różnorodność, przeszkoliliśmy nasz model na podstawie danych z ponad 3,000 rzeczywistych środowisk pomieszczeń i ponad 115,000 XNUMX syntetycznie stworzonych pomieszczeń.

Ponieważ korzystamy z uczenia głębokiego, ważne jest, aby mieć potężną infrastrukturę szkolenia modelowego. Używamy Microsoft Azure, aby umożliwić naszemu zespołowi opracowywanie ulepszonych wersji naszego modelu ML. Kolejnym wyzwaniem jest to, że wyodrębnianie oryginalnej, czystej mowy z hałasu musi odbywać się w sposób, który ludzkie ucho odbiera jako naturalny i przyjemny. Ponieważ nie ma obiektywnych wskaźników, które są silnie skorelowane z ludzką percepcją, opracowaliśmy strukturę, która pozwoliła nam wysłać przetworzone próbki audio do dostawców crowdsourcingowych, w których ludzcy słuchacze oceniali jakość dźwięku w skali od jednej do pięciu gwiazdek, aby uzyskać średnie oceny opinii (MOS). Dzięki tym ludzkim ocenom byliśmy w stanie opracować nową metrykę percepcyjną, która wraz z subiektywnymi ludzkimi ocenami pozwoliła nam na szybkie postępy w ulepszaniu jakości naszych modeli głębokiego uczenia się.

Oto jak włączyć funkcję tłumienia hałasu w aplikacji Teams:

1. Wybierz swoje zdjęcie profilowe w prawym górnym rogu aplikacji Teams, a następnie wybierz Ustawienia.

2. Wybierz urządzenia po lewej, a potem pod Wyciszenie dźwięku, Wybierz opcję.

3. Z okna spotkania:
   1. Wybierz Więcej opcji  w kontrolkach spotkania, a następnie wybierz Ustawienia urządzenia.

   2. Pod Wyciszenie dźwięku, Wybierz opcję.

Źródło: Microsoft