Η Microsoft Research αναπτύσσει εκπληκτικό αλγόριθμο αποκατάστασης φωτογραφιών

Η ερευνητική ομάδα της Microsoft Ziyu Wan, Bo Zhang και άλλοι έχουν αναπτύξει έναν νέο αλγόριθμο βασισμένο σε AI για την επαναφορά παλιών φωτογραφιών που υποφέρουν από σοβαρή υποβάθμιση μέσω μιας προσέγγισης βαθιάς μάθησης.

Σε αντίθεση με τις συμβατικές εργασίες αποκατάστασης που μπορούν να επιλυθούν μέσω εποπτευόμενης εκμάθησης, η υποβάθμιση στις πραγματικές φωτογραφίες είναι περίπλοκη και το χάσμα τομέα μεταξύ συνθετικών εικόνων και πραγματικών παλιών φωτογραφιών κάνει το δίκτυο να αποτυγχάνει να γενικεύσει.

Η νέα τεχνική τους προτείνει ένα νέο δίκτυο μετάφρασης τριπλών τομέων αξιοποιώντας πραγματικές φωτογραφίες μαζί με τεράστια συνθετικά ζεύγη εικόνων. Συγκεκριμένα, εκπαιδεύουν δύο μεταβλητούς αυτοκωδικοποιητές (VAE) για να μετατρέψουν αντίστοιχα παλιές φωτογραφίες και καθαρές φωτογραφίες σε δύο λανθάνοντες χώρους. Και η μετάφραση μεταξύ αυτών των δύο λανθάνοντων χώρων μαθαίνεται με συνθετικά ζευγαρωμένα δεδομένα.

Αυτή η μετάφραση γενικεύεται καλά σε πραγματικές φωτογραφίες επειδή το κενό τομέα είναι κλειστό στον συμπαγή λανθάνοντα χώρο. Για να αντιμετωπίσουν πολλαπλές υποβαθμίσεις που αναμειγνύονται σε μια παλιά φωτογραφία, σχεδίασαν έναν παγκόσμιο κλάδο με ένα μερικό μη τοπικό μπλοκ που στοχεύει στα δομημένα ελαττώματα, όπως γρατσουνιές και σημεία σκόνης, και ένα τοπικό κλάδο που στοχεύει στα μη δομημένα ελαττώματα, όπως θορύβους και θολότητα. Οι δύο κλάδοι συγχωνεύονται στον λανθάνοντα χώρο, οδηγώντας σε βελτιωμένη ικανότητα αποκατάστασης παλιών φωτογραφιών από πολλαπλά ελαττώματα. Η προτεινόμενη μέθοδος υπερτερεί των μεθόδων αιχμής όσον αφορά την οπτική ποιότητα για την αποκατάσταση παλιών φωτογραφιών.

Δείτε την τεχνική που παρουσιάζεται στο παρακάτω βίντεο:

Δυστυχώς, η Microsoft δεν έχει διαθέσει έναν ιστότοπο επίδειξης για να δοκιμάσει την τεχνολογία, αλλά ελπίζουμε ότι η εταιρεία θα λάβει την υπόδειξη.

Διαβάστε πολύ περισσότερες λεπτομέρειες στη Microsoft εδώ.