Microsoft Research Inspire Bot für Videountertitelung

Zwei chinesische Forscher, Chia-Wen Lin und Min Sun, Professoren an der Fakultät für Elektrotechnik der National Tsinghua University in Taiwan, haben einen Bot entwickelt, der Ihr Video für Sie ansieht, seine Highlights bestimmt, einen relevanten Titel für eine einfache Suche erstellt und empfehlen, wer markiert werden möchte, um es anzusehen.

Inspiriert von COCO (Common Objects in Context) von Microsoft Research, arbeiteten Professor Lin und Professor Sun 2015 mit Dr. Tao Mei, einem leitenden Forscher für Multimedia bei Microsoft Research Asia, zusammen, wobei sie COCO-Untertitel zur Satzerweiterung verwendeten und Untertitel in MSCOCO verwendeten, um sie zu trainieren System.

Das eigene System analysierte 18,000 Videos auf Highlights und generierte 44,000 Titel/Beschreibungen. Um das System zu verbessern, nahmen Professor Sun und seine Studenten an der von Microsoft Research gesponserten VideoToText-Herausforderung teil und nutzten die in der Herausforderung veröffentlichten Daten für eine zusätzliche Validierung.

„Unsere Forschung hat uns dem heiligen Gral der visuellen Intelligenz, dem Verständnis visueller Inhalte in nutzergenerierten Videos, einen Schritt näher gebracht“, sagte Professor Sun.

Ihre Forschung wird es Ihnen schließlich ermöglichen, nutzergenerierte Inhalte in sozialen Medien zu finden und anzusehen, einschließlich dieses erstaunlichen Clips, in dem Ihr Opa seine Zähne verliert, während er auf der Hochzeit Ihres Cousins ​​tanzt.

Die Forschung von Professor Sun und Dr. Tao Mei wurden hier auf Arxiv.org veröffentlicht.