Pesquisa da Microsoft desenvolve algoritmo incrível de restauração de fotos

A equipe de pesquisa da Microsoft Ziyu Wan, Bo Zhang e outros desenvolveram um novo algoritmo baseado em IA para restaurar fotos antigas que sofrem degradação severa por meio de uma abordagem de aprendizado profundo.

Ao contrário das tarefas convencionais de restauração que podem ser resolvidas por meio de aprendizado supervisionado, a degradação em fotos reais é complexa e a lacuna de domínio entre imagens sintéticas e fotos antigas reais faz com que a rede não consiga generalizar.

Sua nova técnica propõe uma nova rede de tradução de domínio triplo, aproveitando fotos reais junto com massivos pares de imagens sintéticas. Especificamente, eles treinam dois autoencoders variacionais (VAEs) para transformar, respectivamente, fotos antigas e fotos limpas em dois espaços latentes. E a tradução entre esses dois espaços latentes é aprendida com dados pareados sintéticos.

Essa tradução generaliza bem para fotos reais porque a lacuna de domínio é fechada no espaço latente compacto. Para lidar com várias degradações misturadas em uma foto antiga, eles projetaram uma ramificação global com um bloco não local parcial direcionado aos defeitos estruturados, como arranhões e manchas de poeira, e uma ramificação local direcionada aos defeitos não estruturados, como ruídos e desfoque. As duas ramificações são fundidas no espaço latente, levando a uma capacidade aprimorada de restaurar fotos antigas de vários defeitos. O método proposto supera os métodos de última geração em termos de qualidade visual para restauração de fotos antigas.

Veja a técnica demonstrada no vídeo abaixo:

Infelizmente, a Microsoft não disponibilizou um site de demonstração para testar a tecnologia, mas esperamos que a empresa entenda a dica.

Leia muito mais detalhes na Microsoft aqui.