微軟將為 Mac 和移動平台上的 Microsoft Teams 帶來基於 AI 的噪音抑制

上個月，微軟 宣布 向 Microsoft Teams Windows 桌面用戶推出實時後台基於 AI 的噪音抑制功能。 此功能可以抑制不必要的噪音，例如在團隊通話期間洗紙、關門和狗吠。 基於 AI 的噪聲抑制通過分析個人的音頻輸入並使用經過特殊訓練的深度神經網絡過濾噪聲並僅保留語音信號來工作。 微軟今天宣布，它正在努力為 Mac 和移動平台上的 Microsoft Teams 帶來基於 AI 的噪音抑制。

微軟今天還解釋了他們如何在不使用實際客戶數據的情況下開發此功能。 Microsoft 優化了深度學習模型，使其可以在 Teams 桌面客戶端上實時高效運行，而無需太多開銷。

為了實現這種數據集的多樣性，我們創建了一個包含大約 760 小時干淨語音數據和 180 小時噪聲數據的大型數據集。 為了遵守 Microsoft 嚴格的隱私標準，我們確保不會為此數據集收集任何客戶數據。 相反，我們要么使用公開數據或眾包來收集特定場景。 對於乾淨的語音，我們確保了女性和男性語音的平衡，並且我們從 10 多種語言中收集了數據，其中還包括聲調語言，以確保我們的模型不會通過扭曲單詞的語氣來改變句子的含義。 對於噪音數據，我們包括了 150 種噪音類型，以確保我們涵蓋客戶可能遇到的各種場景，從鍵盤打字到沖廁所或打鼾。 另一個重要方面是在我們乾淨的演講中包含情緒，這樣笑聲或哭聲等表情就不會受到抑制。 我們的客戶加入其在線 Teams 會議的環境特徵也對語音信號有很大影響。 為了捕捉這種多樣性，我們使用來自 3,000 多個真實房間環境和 115,000 多個合成創建的房間的數據來訓練我們的模型。

由於我們使用深度學習，因此擁有強大的模型訓練基礎設施非常重要。 我們使用 Microsoft Azure 允許我們的團隊開發我們的 ML 模型的改進版本。 另一個挑戰是從噪聲中提取原始乾淨的語音需要以人耳認為自然和愉快的方式進行。 由於沒有與人類感知高度相關的客觀指標，我們開發了一個框架，允許我們將處理後的音頻樣本發送給眾包供應商，在那里人類聽眾對他們的音頻質量進行 XNUMX 到 XNUMX 星評級，以產生平均意見分數（MOS）。 通過這些人工評分，我們能夠開發出一種新的感知指標，該指標與主觀的人工評分一起使我們能夠在提高深度學習模型的質量方面取得快速進展。

以下是在 Teams 中啟用噪音抑制功能的方法：

1. 在 Teams 的右上角選擇您的個人資料圖片，然後選擇 設定.

2. 選擇 設備 在左邊，然後在下面 噪聲抑制， 選擇一個選項。

3. 從會議窗口：
   1. 選擇 更多的選擇  在您的會議控件中，然後選擇 設備設置.

   2. 下 噪聲抑制， 選擇一個選項。

資源： Microsoft微軟