Microsoft Research udvikler en fantastisk fotogendannelsesalgoritme

Microsofts forskningsteam Ziyu Wan, Bo Zhang og flere har udviklet en ny AI-baseret algoritme til at gendanne gamle fotos, der lider under alvorlig forringelse gennem en dyb læringstilgang.

I modsætning til konventionelle restaureringsopgaver, der kan løses gennem overvåget læring, er nedbrydningen i rigtige fotos kompleks, og domænegabet mellem syntetiske billeder og rigtige gamle fotos gør, at netværket ikke kan generalisere.

Deres nye teknik foreslår et nyt triplet-domæneoversættelsesnetværk ved at udnytte rigtige fotos sammen med massive syntetiske billedpar. Specifikt træner de to variationelle autoencodere (VAE'er) til henholdsvis at omdanne gamle fotos og rene fotos til to latente rum. Og oversættelsen mellem disse to latente rum læres med syntetiske parrede data.

Denne oversættelse generaliserer godt til rigtige fotos, fordi domænegabet er lukket i det kompakte latente rum. For at imødegå flere nedbrydninger blandet i ét gammelt foto, designede de en global gren med en delvis ikke-lokal blok målrettet mod de strukturerede defekter, såsom ridser og støvpletter, og en lokal gren, der målrettede mod de ustrukturerede defekter, såsom støj og sløring. De to grene er smeltet sammen i det latente rum, hvilket fører til forbedret evne til at gendanne gamle fotos fra flere defekter. Den foreslåede metode udkonkurrerer state-of-the-art metoder med hensyn til visuel kvalitet til restaurering af gamle fotos.

Se teknikken demonstreret i videoen nedenfor:

Desværre har Microsoft ikke stillet en demo-side til rådighed for at prøve teknologien, men forhåbentlig vil virksomheden tage tippet.

Læs meget mere detaljeret hos Microsoft her.