Robot pro tvorbu titulků videa inspiruje výzkum společnosti Microsoft
2 min. číst
Publikované dne
Sdílejte tento článek
Vylepšete tuto příručku
Přečtěte si naši informační stránku a zjistěte, jak můžete pomoci MSPoweruser udržet redakční tým Dozvědět se více
Dva čínští vědci, Chia-Wen Lin a Min Sun, profesoři na katedře elektrotechniky na National Tsinghua University na Tchaj-wanu, vytvořili robota, který za vás bude sledovat vaše video, určovat jeho hlavní body, vytvářet relevantní název pro snadné vyhledávání a doporučte, aby se na to podívali, kdo by chtěli být označeni.
Profesor Lin a profesor Sun, inspirováni COCO (Common Objects in Context) společnosti Microsoft, spolupracovali s Dr. Tao Mei, vedoucím výzkumným pracovníkem v oblasti multimédií v Microsoft Research Asia v roce 2015, pomocí COCO titulků pro augmentaci vět a pomocí titulků v MSCOCO trénovali své Systém.
Jejich vlastní systém analyzoval 18,000 44,000 videí a vygeneroval XNUMX XNUMX názvů/popisů. Za účelem vylepšení systému se profesor Sun a jeho studenti zúčastnili výzvy VideoToText sponzorované společností Microsoft Research, přičemž data zveřejněná v této výzvě použili k dodatečnému ověření.
„Náš výzkum nás posunul o krok blíže ke svatému grálu vizuální inteligence, pochopení vizuálního obsahu ve videích vytvářených uživateli,“ řekl profesor Sun.
Jejich výzkum vám nakonec umožní snadno najít a sledovat obsah vytvořený uživateli na sociálních sítích, včetně toho úžasného klipu, jak váš děda přišel o zuby při tanci na svatbě vašeho bratrance.
Výzkum profesora Suna a Dr. Tao Mei byly zveřejněny na Arxiv.org zde.
