Το ρομπότ της Microsoft Research εμπνέει υπότιτλους βίντεο

Δύο Κινέζοι ερευνητές, ο Chia-Wen Lin και ο Min Sun, καθηγητές στο τμήμα Ηλεκτρολόγων Μηχανικών του Εθνικού Πανεπιστημίου Tsinghua στην Ταϊβάν, δημιούργησαν ένα bot που θα παρακολουθεί το βίντεό σας για εσάς, θα προσδιορίζει τα κυριότερα σημεία του, θα δημιουργεί έναν σχετικό τίτλο για εύκολη αναζήτηση και προτείνετε σε ποιους μπορεί να θέλουν να επισημανθούν για να το παρακολουθήσουν.

Εμπνευσμένοι από το COCO (Common Objects in Context) της Microsoft Research, ο καθηγητής Lin και ο καθηγητής Sun συνεργάστηκαν με τον Dr. Tao Mei, επικεφαλής ερευνητή πολυμέσων στη Microsoft Research Asia το 2015, χρησιμοποιώντας λεζάντες COCO για αύξηση προτάσεων και χρησιμοποιώντας λεζάντες στο MSCOCO για να εκπαιδεύσουν τους Σύστημα.

Το δικό τους σύστημα ανέλυσε 18,000 βίντεο για τις καλύτερες στιγμές και δημιούργησε 44,000 τίτλους/περιγραφές. Για τη βελτίωση του συστήματος, ο καθηγητής Sun και οι μαθητές του συμμετείχαν στην πρόκληση VideoToText που χρηματοδοτήθηκε από τη Microsoft Research, χρησιμοποιώντας τα δεδομένα που δημοσιεύθηκαν στην πρόκληση για πρόσθετη επικύρωση.

«Η έρευνά μας μάς οδήγησε ένα βήμα πιο κοντά στο ιερό δισκοπότηρο της οπτικής νοημοσύνης, στην κατανόηση του οπτικού περιεχομένου σε βίντεο που δημιουργούνται από χρήστες», δήλωσε ο καθηγητής Sun.

Η έρευνά τους θα σας επιτρέψει τελικά να βρείτε και να παρακολουθήσετε εύκολα περιεχόμενο που δημιουργείται από χρήστες στα μέσα κοινωνικής δικτύωσης, συμπεριλαμβανομένου αυτού του εκπληκτικού κλιπ με τον παππού σας να χάνει τα δόντια του ενώ χόρευε στον γάμο της ξαδέρφης σας.

Η έρευνα του καθηγητή Sun και του Δρ. Tao Mei έχουν δημοσιευτεί στο Arxiv.org εδώ.