Microsoft Research utvikler en fantastisk fotogjenopprettingsalgoritme

Microsofts forskningsteam Ziyu Wan, Bo Zhang og flere har utviklet en ny AI-basert algoritme for å gjenopprette gamle bilder som lider av alvorlig forringelse gjennom en dyp læringstilnærming.

I motsetning til konvensjonelle restaureringsoppgaver som kan løses gjennom overvåket læring, er degraderingen i ekte bilder kompleks og domenegapet mellom syntetiske bilder og ekte gamle bilder gjør at nettverket ikke klarer å generalisere.

Deres nye teknikk foreslår et nytt oversettelsesnettverk for trippeldomene ved å utnytte ekte bilder sammen med massive syntetiske bildepar. Spesielt trener de to variasjonsautokodere (VAE) til å transformere henholdsvis gamle bilder og rene bilder til to latente rom. Og oversettelsen mellom disse to latente rommene læres med syntetiske sammenkoblede data.

Denne oversettelsen generaliserer godt til ekte bilder fordi domenegapet er lukket i det kompakte latente rommet. For å adressere flere forringelser blandet i ett gammelt bilde, designet de en global gren med en delvis ikke-lokal blokk rettet mot de strukturerte defektene, for eksempel riper og støvflekker, og en lokal gren rettet mot de ustrukturerte defektene, som støy og uskarphet. De to grenene er smeltet sammen i det latente rommet, noe som fører til forbedret evne til å gjenopprette gamle bilder fra flere defekter. Den foreslåtte metoden overgår de nyeste metodene når det gjelder visuell kvalitet for restaurering av gamle bilder.

Se teknikken demonstrert i videoen nedenfor:

Dessverre har ikke Microsoft gjort en demoside tilgjengelig for å prøve ut teknologien, men forhåpentligvis vil selskapet ta hintet.

Les mye mer detaljert hos Microsoft her.