Microsoft Researchは、驚くべき写真復元アルゴリズムを開発しています

MicrosoftResearchチームのZiyuWan、Bo Zhangなどは、ディープラーニングアプローチを通じて深刻な劣化に苦しんでいる古い写真を復元するための新しいAIベースのアルゴリズムを開発しました。

教師あり学習によって解決できる従来の復元タスクとは異なり、実際の写真の劣化は複雑であり、合成画像と実際の古い写真の間のドメインギャップにより、ネットワークの一般化が失敗します。

彼らの新しい技術は、大量の合成画像ペアとともに実際の写真を活用することにより、新しいトリプレットドメイン翻訳ネットワークを提案します。 具体的には、XNUMXつの変分オートエンコーダー（VAE）をトレーニングして、古い写真ときれいな写真をそれぞれXNUMXつの潜在的な空間に変換します。 そして、これらXNUMXつの潜在空間間の変換は、合成ペアデータを使用して学習されます。

ドメインギャップがコンパクトな潜在空間で閉じられているため、この変換は実際の写真によく一般化されます。 XNUMX枚の古い写真に混在する複数の劣化に対処するために、スクラッチやダストスポットなどの構造化された欠陥を対象とした部分的な非ローカルブロックと、ノイズやぼやけなどの非構造化された欠陥を対象としたローカルブランチを備えたグローバルブランチを設計しました。 XNUMXつのブランチは潜在的なスペースで融合され、複数の欠陥から古い写真を復元する機能が向上します。 提案された方法は、古い写真の復元の視覚的品質の点で、最先端の方法よりも優れています。

以下のビデオで示されているテクニックを参照してください。

残念ながら、Microsoftはこの技術を試すためのデモサイトを利用できるようにしていないが、うまくいけば、同社はヒントを得るだろう。

詳細を読む ここマイクロソフトで.