Microsoft Researchは、驚くべき写真復元アルゴリズムを開発しています

ホーム » 研究

読書時間アイコン 2分。読んだ

カレンダーアイコン更新日 2020 年 6 月 30 日

by スルール・デイヴィッツ

上の更新 2020 年 6 月 30 日

読者は MSpoweruser のサポートを支援します。私たちのリンクを通じて購入すると、手数料が発生する場合があります。

MicrosoftResearchチームのZiyuWan、Bo Zhangなどは、ディープラーニングアプローチを通じて深刻な劣化に苦しんでいる古い写真を復元するための新しいAIベースのアルゴリズムを開発しました。

教師あり学習によって解決できる従来の復元タスクとは異なり、実際の写真の劣化は複雑であり、合成画像と実際の古い写真の間のドメインギャップにより、ネットワークの一般化が失敗します。

彼らの新しい技術は、大量の合成画像ペアとともに実際の写真を活用することにより、新しいトリプレットドメイン翻訳ネットワークを提案します。具体的には、XNUMXつの変分オートエンコーダー（VAE）をトレーニングして、古い写真ときれいな写真をそれぞれXNUMXつの潜在的な空間に変換します。そして、これらXNUMXつの潜在空間間の変換は、合成ペアデータを使用して学習されます。

XNUMXつの異なる画像は、元の写真と、モデルを実行した後の大幅に改善されたバージョンを示しています。画像XNUMX：女の子が花を持っている場合の色あせた画像。画像XNUMX：顔の前で鳥を手に持って微笑んでいる色あせた女性のヘッドショット。画像XNUMX：長い髪と眼鏡をかけた若い人の色あせて変色した画像。画像XNUMX：犬を膝に抱えたドレスを着た女性の色あせた変色した画像。画像XNUMX：ベストとドレスシャツを着た男の子のひび割れて曲がった白黒画像。画像XNUMX：カップルのひどくひびの入った白黒画像。男性はヴィンテージの軍服を着ており、女性はヴィンテージのドレスを着ています。すべての画像は同様の高品質であり、モデルを実行した後に欠陥が削除されています。

ドメインギャップがコンパクトな潜在空間で閉じられているため、この変換は実際の写真によく一般化されます。 XNUMX枚の古い写真に混在する複数の劣化に対処するために、スクラッチやダストスポットなどの構造化された欠陥を対象とした部分的な非ローカルブロックと、ノイズやぼやけなどの非構造化された欠陥を対象としたローカルブランチを備えたグローバルブランチを設計しました。 XNUMXつのブランチは潜在的なスペースで融合され、複数の欠陥から古い写真を復元する機能が向上します。提案された方法は、古い写真の復元の視覚的品質の点で、最先端の方法よりも優れています。

以下のビデオで示されているテクニックを参照してください。