Microsoft Research développe un incroyable algorithme de restauration de photos

L'équipe de Microsoft Research Ziyu Wan, Bo Zhang et d'autres ont développé un nouvel algorithme basé sur l'IA pour restaurer les vieilles photos qui souffrent d'une grave dégradation grâce à une approche d'apprentissage en profondeur.

Contrairement aux tâches de restauration conventionnelles qui peuvent être résolues par apprentissage supervisé, la dégradation des photos réelles est complexe et l'écart de domaine entre les images synthétiques et les photos anciennes réelles empêche le réseau de se généraliser.

Leur nouvelle technique propose un nouveau réseau de traduction de domaine triplet en exploitant de vraies photos avec des paires d'images synthétiques massives. Plus précisément, ils entraînent deux auto-encodeurs variationnels (VAE) pour transformer respectivement les anciennes photos et les photos propres en deux espaces latents. Et la traduction entre ces deux espaces latents est apprise avec des données appariées synthétiques.

Cette traduction se généralise bien aux photos réelles car l'écart de domaine est fermé dans l'espace latent compact. Pour traiter plusieurs dégradations mélangées dans une vieille photo, ils ont conçu une branche globale avec un bloc non local partiel ciblant les défauts structurés, tels que les rayures et les taches de poussière, et une branche locale ciblant les défauts non structurés, tels que les bruits et le flou. Les deux branches sont fusionnées dans l'espace latent, ce qui améliore la capacité de restauration d'anciennes photos à partir de multiples défauts. La méthode proposée surpasse les méthodes de pointe en termes de qualité visuelle pour la restauration de photos anciennes.

Voir la technique démontrée en vidéo ci-dessous :

Malheureusement, Microsoft n'a pas mis à disposition de site de démonstration pour essayer la technologie, mais j'espère que l'entreprise en tiendra compte.

Lire beaucoup plus de détails chez Microsoft ici.