Microsoft Research inspiruje bota do tworzenia napisów wideo
2 minuta. czytać
Opublikowany
Udostępnij ten artykuł
Ulepsz ten przewodnik
Przeczytaj naszą stronę z informacjami, aby dowiedzieć się, jak możesz pomóc MSPoweruser w utrzymaniu zespołu redakcyjnego Czytaj więcej
Dwóch chińskich naukowców, Chia-Wen Lin i Min Sun, profesorów z wydziału elektrotechniki Narodowego Uniwersytetu Tsinghua na Tajwanie, stworzyło bota, który obejrzy dla Ciebie Twój film, określi jego najciekawsze momenty, utworzy odpowiedni tytuł ułatwiający wyszukiwanie i polecam, kto może chcieć być oznaczony, aby go obejrzeć.
Zainspirowani przez COCO (Common Objects in Context) firmy Microsoft Research, profesor Lin i profesor Sun współpracowali z dr Tao Mei, wiodącym badaczem ds. multimediów w Microsoft Research Asia w 2015 r., używając podpisów COCO do powiększania zdań i wykorzystując podpisy w MSCOCO do szkolenia swoich system.
Własny system przeanalizował 18,000 44,000 filmów pod kątem najciekawszych momentów i wygenerował XNUMX XNUMX tytułów/opisów. Aby ulepszyć system, profesor Sun i jego uczniowie wzięli udział w wyzwaniu VideoToText sponsorowanym przez Microsoft Research, wykorzystując dane opublikowane w wyzwaniu do dodatkowej walidacji.
„Nasze badania zbliżyły nas o krok do świętego Graala inteligencji wizualnej, zrozumienia treści wizualnych w filmach generowanych przez użytkowników” – powiedział profesor Sun.
Ich badania w końcu pozwolą Ci łatwo znajdować i oglądać treści generowane przez użytkowników w mediach społecznościowych, w tym niesamowity klip, na którym dziadek traci zęby podczas tańca na weselu kuzyna.
Badania profesora Sun i dr Tao Mei zostały opublikowane na Arxiv.org tutaj.
