Microsoft Research inspirira bot za titlovanje videozapisa
2 min. čitati
Objavljeno na
Podijelite ovaj članak
Poboljšajte ovaj vodič
Pročitajte našu stranicu za otkrivanje kako biste saznali kako možete pomoći MSPoweruseru da održi urednički tim Čitaj više
Dva kineska istraživača, Chia-Wen Lin i Min Sun, profesori na odsjeku za elektrotehniku Nacionalnog sveučilišta Tsinghua u Tajvanu, stvorili su bot koji će umjesto vas gledati vaš video, odrediti njegove najvažnije stavke, kreirati relevantan naslov za jednostavno pretraživanje i preporučite tko bi možda želio biti označen da gleda.
Inspirirani COCO (Common Objects in Context) tvrtke Microsoft Research, profesor Lin i profesor Sun surađivali su s dr. Tao Meiom, vodećim istraživačem multimedije u Microsoft Research Asia 2015., koristeći COCO titlove za povećanje rečenica i korištenje natpisa u MSCOCO za obuku svojih sustav.
Njihov vlastiti sustav analizirao je 18,000 videa za vrhunske sadržaje i generirao 44,000 naslova/opisa. Kako bi poboljšali sustav, profesor Sun i njegovi studenti sudjelovali su u VideoToText izazovu pod pokroviteljstvom Microsoft Researcha, koristeći podatke objavljene u izazovu za dodatnu provjeru.
"Naše istraživanje dovelo nas je korak bliže svetom gralu vizualne inteligencije, razumijevanju vizualnog sadržaja u videozapisima koje stvaraju korisnici", rekao je profesor Sun.
Njihovo istraživanje na kraju će vam omogućiti da lako pronađete i gledate sadržaj koji generiraju korisnici na društvenim mrežama, uključujući onaj nevjerojatan isječak vašeg djeda kako gubi zube dok pleše na vjenčanju vašeg rođaka.
Istraživanje profesora Suna i dr. Tao Meija objavljeni su na Arxiv.org ovdje.
