微軟研究院開發出驚人的照片恢復算法

閱讀時間圖標 2分鐘讀


讀者幫助支持 MSpoweruser。如果您透過我們的連結購買,我們可能會獲得佣金。 工具提示圖標

請閱讀我們的揭露頁面,了解如何幫助 MSPoweruser 維持編輯團隊的發展 阅读更多

微軟研究團隊 Ziyu Wan、Bo Zhang 等人開發了一種新的基於 AI 的算法,用於通過深度學習方法恢復遭受嚴重退化的舊照片。

與可以通過監督學習解決的傳統恢復任務不同,真實照片中的退化是複雜的,合成圖像與真實舊照片之間的域差距使得網絡無法泛化。

他們的新技術通過利用真實照片和大量合成圖像對,提出了一種新穎的三元域翻譯網絡。 具體來說,他們訓練兩個變分自動編碼器 (VAE) 分別將舊照片和乾淨照片轉換為兩個潛在空間。 這兩個潛在空間之間的轉換是通過合成配對數據學習的。

六張不同的圖像顯示了原始照片和經過模型運行後的改進版本。 圖一:一個女孩拿著鮮花的褪色圖像。 圖二:一個褪色的女人微笑著,手上拿著一隻鳥站在她面前的頭像。 圖三:一張褪色的、褪色的長發、戴著眼鏡、苦笑的年輕人的形象。 圖四:一位穿著裙子的女人的褪色和變色圖像,腿上放著一條狗。 圖五:一個男孩穿著背心和禮服襯衫的破裂和彎曲的黑白圖像。 圖六:一對夫婦嚴重破裂的黑白圖像。 男人穿著復古的軍裝,女人穿著復古的連衣裙。 所有圖像都具有相似的高質量,在通過模型運行後去除了缺陷。

這種轉換可以很好地推廣到真實照片,因為域間隙在緊湊的潛在空間中是封閉的。 為了解決混合在一張舊照片中的多重退化問題,他們設計了一個全局分支,其中一個局部非局部塊針對結構化缺陷,例如划痕和灰塵斑點,一個局部分支針對非結構化缺陷,例如噪聲和模糊。 這兩個分支在潛在空間中融合,從而提高了從多個缺陷中恢復舊照片的能力。 所提出的方法在舊照片恢復的視覺質量方面優於最先進的方法。

請參閱以下視頻中演示的技術:

不幸的是,微軟還沒有提供一個演示站點來試用這項技術,但希望該公司能得到提示。

閱讀更多詳細信息 在微軟這裡.

有關主題的更多資訊: 微軟研究, 照片恢復