Microsoft Research ontwikkelt een geweldig algoritme voor het herstellen van foto's

Microsoft Research-team Ziyu Wan, Bo Zhang en meer hebben een nieuw AI-gebaseerd algoritme ontwikkeld voor het herstellen van oude foto's die aan ernstige degradatie lijden door middel van een diepgaande leerbenadering.

In tegenstelling tot conventionele hersteltaken die kunnen worden opgelost door leren onder toezicht, is de degradatie in echte foto's complex en de domeinkloof tussen synthetische afbeeldingen en echte oude foto's zorgt ervoor dat het netwerk niet kan generaliseren.

Hun nieuwe techniek stelt een nieuw triplet-domeinvertaalnetwerk voor door gebruik te maken van echte foto's samen met enorme synthetische beeldparen. In het bijzonder trainen ze twee variatie-autoencoders (VAE's) om respectievelijk oude foto's en schone foto's om te zetten in twee latente ruimtes. En de vertaling tussen deze twee latente ruimtes wordt geleerd met synthetische gepaarde gegevens.

Deze vertaling kan goed worden gegeneraliseerd naar echte foto's omdat de domeinkloof in de compacte latente ruimte wordt gesloten. Om meerdere degradaties in één oude foto aan te pakken, ontwierpen ze een globale tak met een gedeeltelijk niet-lokaal blok gericht op de gestructureerde defecten, zoals krassen en stofvlekken, en een lokale tak gericht op de ongestructureerde defecten, zoals ruis en wazigheid. De twee takken zijn versmolten in de latente ruimte, wat leidt tot een verbeterde mogelijkheid om oude foto's van meerdere defecten te herstellen. De voorgestelde methode presteert beter dan de modernste methoden in termen van visuele kwaliteit voor het herstellen van oude foto's.

Zie de techniek gedemonstreerd in onderstaande video:

Helaas heeft Microsoft geen demosite beschikbaar gesteld om de technologie uit te proberen, maar hopelijk zal het bedrijf de hint begrijpen.

Lees veel meer details bij Microsoft hier.