Microsoft Research, 놀라운 사진 복원 알고리즘 개발

Microsoft Research 팀 Ziyu Wan, Bo Zhang 등은 딥 러닝 접근 방식을 통해 심각한 품질 저하로 고통받는 오래된 사진을 복원하기 위한 새로운 AI 기반 알고리즘을 개발했습니다.

지도 학습을 통해 해결할 수 있는 기존의 복원 작업과 달리 실제 사진의 열화는 복잡하고 합성 이미지와 실제 오래된 사진 간의 도메인 갭으로 인해 네트워크 일반화에 실패합니다.

그들의 새로운 기술은 거대한 합성 이미지 쌍과 함께 실제 사진을 활용하여 새로운 삼중항 도메인 번역 네트워크를 제안합니다. 특히, 두 개의 VAE(variational autoencoder)를 훈련하여 오래된 사진과 깨끗한 사진을 각각 두 개의 잠재 공간으로 변환합니다. 그리고 이 두 잠재 공간 사이의 변환은 합성 쌍 데이터로 학습됩니다.

이 번역은 조밀한 잠재 공간에서 도메인 간격이 닫혀 있기 때문에 실제 사진에 잘 일반화됩니다. 하나의 오래된 사진에 혼합된 여러 저하를 해결하기 위해 스크래치 및 먼지 반점과 같은 구조적 결함을 대상으로 하는 부분적 비국소 블록과 노이즈 및 흐림과 같은 구조화되지 않은 결함을 대상으로 하는 로컬 분기를 사용하여 전역 분기를 설계했습니다. 두 개의 가지가 잠재 공간에서 융합되어 여러 결함에서 오래된 사진을 복원하는 기능이 향상되었습니다. 제안된 방법은 오래된 사진 복원을 위한 시각적 품질 측면에서 최신 방법을 능가합니다.

아래 비디오에서 시연된 기술을 참조하십시오.

불행히도 Microsoft는 이 기술을 시험해 볼 수 있는 데모 사이트를 만들지 않았지만 회사에서 힌트를 얻을 수 있기를 바랍니다.

훨씬 더 자세히 읽기 여기 Microsoft에서.