Microsoft Research vyvinul úžasný algoritmus na obnovu fotografií

Výskumný tím spoločnosti Microsoft Ziyu Wan, Bo Zhang a ďalší vyvinuli nový algoritmus založený na AI na obnovu starých fotografií, ktoré trpia vážnou degradáciou prostredníctvom prístupu hlbokého učenia.

Na rozdiel od konvenčných úloh obnovy, ktoré možno vyriešiť učením pod dohľadom, degradácia skutočných fotografií je zložitá a doménová medzera medzi syntetickými obrázkami a skutočnými starými fotografiami spôsobuje, že sieť nedokáže zovšeobecniť.

Ich nová technika navrhuje novú trojitú doménovú prekladovú sieť využívaním skutočných fotografií spolu s masívnymi syntetickými pármi obrázkov. Konkrétne trénujú dva variačné automatické kódovače (VAE), aby transformovali staré fotografie a čisté fotografie do dvoch skrytých priestorov. A preklad medzi týmito dvoma latentnými priestormi sa učí pomocou syntetických spárovaných údajov.

Tento preklad sa dobre zovšeobecňuje na skutočné fotografie, pretože doménová medzera je uzavretá v kompaktnom latentnom priestore. Na riešenie viacerých degradácií zmiešaných v jednej starej fotografii navrhli globálnu vetvu s čiastočným nelokálnym blokovaním zameraným na štruktúrované defekty, ako sú škrabance a prachové škvrny, a lokálnu vetvu zameranú na neštruktúrované defekty, ako sú zvuky a rozmazanie. Dve vetvy sú spojené v latentnom priestore, čo vedie k zlepšenej schopnosti obnoviť staré fotografie z viacerých defektov. Navrhovaná metóda prevyšuje najmodernejšie metódy z hľadiska vizuálnej kvality pri reštaurovaní starých fotografií.

Pozrite si techniku ​​znázornenú na videu nižšie:

Bohužiaľ, Microsoft nesprístupnil demo stránku na vyskúšanie technológie, ale dúfajme, že spoločnosť túto nápovedu využije.

Prečítajte si oveľa viac podrobností v spoločnosti Microsoft tu.