微软研究院开发出惊人的照片恢复算法

阅读时间图标 2分钟读


读者帮助支持 MSpoweruser。如果您通过我们的链接购买,我们可能会获得佣金。 工具提示图标

阅读我们的披露页面,了解如何帮助 MSPoweruser 维持编辑团队 查看更多

微软研究团队 Ziyu Wan、Bo Zhang 等人开发了一种新的基于 AI 的算法,用于通过深度学习方法恢复遭受严重退化的旧照片。

与可以通过监督学习解决的传统恢复任务不同,真实照片中的退化是复杂的,合成图像与真实旧照片之间的域差距使得网络无法泛化。

他们的新技术通过利用真实照片和大量合成图像对,提出了一种新颖的三元域翻译网络。 具体来说,他们训练两个变分自动编码器 (VAE) 分别将旧照片和干净照片转换为两个潜在空间。 这两个潜在空间之间的转换是通过合成配对数据学习的。

六张不同的图像显示了原始照片和经过模型运行后的改进版本。 图一:一个女孩拿着鲜花的褪色图像。 图二:一个褪色的女人微笑着,手上拿着一只鸟站在她面前的头像。 图三:一张褪色的、褪色的长发、戴着眼镜、苦笑的年轻人的形象。 图四:一位穿着裙子的女人的褪色和变色图像,腿上放着一条狗。 图五:一个男孩穿着背心和礼服衬衫的破裂和弯曲的黑白图像。 图六:一对夫妇严重破裂的黑白图像。 男人穿着复古的军装,女人穿着复古的连衣裙。 所有图像都具有相似的高质量,在通过模型运行后去除了缺陷。

这种转换可以很好地推广到真实照片,因为域间隙在紧凑的潜在空间中是封闭的。 为了解决混合在一张旧照片中的多重退化问题,他们设计了一个全局分支,其中一个局部非局部块针对结构化缺陷,例如划痕和灰尘斑点,一个局部分支针对非结构化缺陷,例如噪声和模糊。 这两个分支在潜在空间中融合,从而提高了从多个缺陷中恢复旧照片的能力。 所提出的方法在旧照片恢复的视觉质量方面优于最先进的方法。

请参阅以下视频中演示的技术:

不幸的是,微软还没有提供一个演示站点来试用该技术,但希望该公司能够得到提示。

阅读更多详细信息 在微软这里.

有关主题的更多信息: 微软研究, 照片还原