Microsoft Research розробила дивовижний алгоритм відновлення фотографій

Команда Microsoft Research Ziyu Wan, Bo Zhang та інші розробили новий алгоритм, заснований на штучному інтелекті, для відновлення старих фотографій, які страждають від серйозної деградації, завдяки підходу глибокого навчання.

На відміну від звичайних завдань відновлення, які можна вирішити за допомогою навчання під керівництвом, деградація реальних фотографій є складною, а розрив домену між синтетичними зображеннями та реальними старими фотографіями робить мережу неможливою узагальнення.

Їхня нова техніка пропонує нову мережу перекладу триплетних доменів, використовуючи реальні фотографії разом із масивними синтетичними парами зображень. Зокрема, вони навчають два варіаційних автокодерів (VAE) відповідно перетворювати старі фотографії та очищені фотографії в два прихованих простору. І переклад між цими двома латентними просторами вивчається за допомогою синтетичних парних даних.

Цей переклад добре узагальнюється на реальні фотографії, оскільки проміжок домену закривається в компактному прихованому просторі. Щоб усунути численні деградації, змішані в одній старій фотографії, вони розробили глобальну гілку з частковим нелокальним блоком, націленим на структурні дефекти, такі як подряпини та плями пилу, і локальну гілку, орієнтовану на неструктуровані дефекти, такі як шуми та розмитість. Дві гілки злиті в прихованому просторі, що призводить до покращеної можливості відновлення старих фотографій із численних дефектів. Запропонований метод перевершує сучасні методи за візуальною якістю відновлення старих фотографій.

Дивіться техніку, продемонстровану на відео нижче:

На жаль, Microsoft не створила демонстраційний сайт, щоб випробувати технологію, але, сподіваюся, компанія прийме підказку.

Читайте набагато детальніше тут.