Microsoft Research utvecklar fantastiska fotorestaureringsalgoritmer

Microsofts forskningsteam Ziyu Wan, Bo Zhang och fler har utvecklat en ny AI-baserad algoritm för att återställa gamla foton som lider av allvarlig försämring genom en djupinlärningsmetod.

Till skillnad från konventionella restaureringsuppgifter som kan lösas genom övervakat lärande, är försämringen i verkliga foton komplex och domängapet mellan syntetiska bilder och riktiga gamla foton gör att nätverket misslyckas med att generalisera.

Deras nya teknik föreslår ett nytt nätverk för översättning av triplettdomäner genom att utnyttja riktiga foton tillsammans med massiva syntetiska bildpar. Specifikt tränar de två variationsautokodare (VAE) för att omvandla gamla foton respektive rena foton till två latenta utrymmen. Och översättningen mellan dessa två latenta utrymmen lärs in med syntetisk parad data.

Denna översättning generaliserar väl till riktiga foton eftersom domängapet är stängt i det kompakta latenta utrymmet. För att ta itu med flera försämringar blandade i ett gammalt foto designade de en global gren med ett partiellt icke-lokalt block som riktade in sig på de strukturerade defekterna, såsom repor och dammfläckar, och en lokal gren som riktade in sig på de ostrukturerade defekterna, såsom brus och suddighet. De två grenarna smälts samman i det latenta utrymmet, vilket leder till förbättrad förmåga att återställa gamla foton från flera defekter. Den föreslagna metoden överträffar de senaste metoderna när det gäller visuell kvalitet för restaurering av gamla foton.

Se tekniken som demonstreras i videon nedan:

Tyvärr har Microsoft inte gjort en demosida tillgänglig för att testa tekniken, men förhoppningsvis kommer företaget att ta till sig tipset.

Läs mycket mer detaljerat hos Microsoft här.