Microsoft Research entwickelt einen erstaunlichen Fotowiederherstellungsalgorithmus

Das Microsoft-Forschungsteam Ziyu Wan, Bo Zhang und andere haben einen neuen KI-basierten Algorithmus zur Wiederherstellung alter Fotos entwickelt, die durch einen Deep-Learning-Ansatz stark beschädigt wurden.

Im Gegensatz zu herkömmlichen Restaurierungsaufgaben, die durch überwachtes Lernen gelöst werden können, ist die Verschlechterung echter Fotos komplex, und die Domänenlücke zwischen synthetischen Bildern und echten alten Fotos lässt das Netzwerk nicht verallgemeinern.

Ihre neue Technik schlägt ein neuartiges Triplett-Domain-Translation-Netzwerk vor, indem sie echte Fotos zusammen mit massiven synthetischen Bildpaaren nutzt. Konkret trainieren sie zwei Variations-Autoencoder (VAEs), alte Fotos bzw. saubere Fotos in zwei latente Räume umzuwandeln. Und die Übersetzung zwischen diesen beiden latenten Räumen wird mit synthetischen gepaarten Daten gelernt.

Diese Übersetzung lässt sich gut auf echte Fotos verallgemeinern, da die Domänenlücke im kompakten latenten Raum geschlossen wird. Um mehrere in einem alten Foto vermischte Verschlechterungen zu beheben, entwarfen sie einen globalen Zweig mit einem teilweisen nichtlokalen Block, der auf die strukturierten Defekte wie Kratzer und Staubflecken abzielt, und einen lokalen Zweig, der auf die unstrukturierten Defekte wie Rauschen und Unschärfe abzielt. Die beiden Zweige werden im latenten Raum verschmolzen, was zu einer verbesserten Fähigkeit führt, alte Fotos von mehreren Defekten wiederherzustellen. Das vorgeschlagene Verfahren übertrifft modernste Methoden in Bezug auf die visuelle Qualität für die Restaurierung alter Fotos.

Sehen Sie sich die im Video unten gezeigte Technik an:

Leider hat Microsoft keine Demoseite zur Verfügung gestellt, um die Technologie auszuprobieren, aber hoffentlich nimmt das Unternehmen den Hinweis auf.

Lesen Sie viel ausführlicher bei Microsoft hier.