Microsoft Research desarrolla un sorprendente algoritmo de restauración de fotos

El equipo de investigación de Microsoft Ziyu Wan, Bo Zhang y más han desarrollado un nuevo algoritmo basado en IA para restaurar fotos antiguas que sufren una degradación severa a través de un enfoque de aprendizaje profundo.

A diferencia de las tareas de restauración convencionales que se pueden resolver mediante el aprendizaje supervisado, la degradación en las fotos reales es compleja y la brecha de dominio entre las imágenes sintéticas y las fotos antiguas reales hace que la red no pueda generalizar.

Su nueva técnica propone una nueva red de traducción de dominios de triplete al aprovechar fotos reales junto con pares de imágenes sintéticas masivas. Específicamente, entrenan dos codificadores automáticos variacionales (VAEs) para transformar respectivamente fotos antiguas y fotos limpias en dos espacios latentes. Y la traducción entre estos dos espacios latentes se aprende con datos emparejados sintéticos.

Esta traducción se generaliza bien a fotos reales porque la brecha de dominio se cierra en el espacio latente compacto. Para abordar múltiples degradaciones mezcladas en una foto antigua, diseñaron una rama global con un bloque no local parcial dirigido a los defectos estructurados, como rayones y manchas de polvo, y una rama local dirigida a los defectos no estructurados, como ruidos y borrosidad. Las dos ramas se fusionan en el espacio latente, lo que mejora la capacidad para restaurar fotos antiguas con múltiples defectos. El método propuesto supera a los métodos más avanzados en términos de calidad visual para la restauración de fotografías antiguas.

Vea la técnica demostrada en el video a continuación:

Desafortunadamente, Microsoft no ha puesto a disposición un sitio de demostración para probar la tecnología, pero con suerte, la compañía entenderá la indirecta.

Leer mucho más detalle en Microsoft aquí.