Microsoft Research разработала удивительный алгоритм восстановления фотографий

Исследовательская группа Microsoft Ziyu Wan, Bo Zhang и другие разработали новый алгоритм на основе искусственного интеллекта для восстановления старых фотографий, подвергшихся серьезной деградации, с помощью подхода глубокого обучения.

В отличие от обычных задач восстановления, которые можно решить с помощью обучения с учителем, деградация реальных фотографий является сложной, а разрыв домена между синтетическими изображениями и реальными старыми фотографиями не позволяет сети обобщать.

Их новый метод предлагает новую сеть трансляции триплетных доменов, используя реальные фотографии вместе с огромными парами синтетических изображений. В частности, они обучают два вариационных автокодировщика (VAE) соответственно преобразовывать старые фотографии и чистые фотографии в два скрытых пространства. А перевод между этими двумя скрытыми пространствами изучается с помощью синтетических парных данных.

Этот перевод хорошо обобщается на реальные фотографии, потому что доменная щель закрывается в компактном скрытом пространстве. Чтобы устранить несколько искажений, смешанных на одной старой фотографии, они разработали глобальную ветвь с частичным нелокальным блоком, нацеленным на структурные дефекты, такие как царапины и пятна пыли, и локальную ветвь, нацеленную на неструктурированные дефекты, такие как шумы и размытость. Две ветви сливаются в скрытом пространстве, что повышает способность восстанавливать старые фотографии с множественных дефектов. Предлагаемый метод превосходит современные методы по визуальному качеству реставрации старых фотографий.

Смотрите технику, продемонстрированную в видео ниже:

К сожалению, Microsoft не предоставила демонстрационный сайт для опробования технологии, но, надеюсь, компания поймет намек.

Читать подробнее в Microsoft здесь.