Microsoft Research navdihuje bot za podnapise videoposnetkov
2 min. prebrati
Objavljeno dne
Dajte v skupno rabo ta članek
Izboljšajte ta vodnik
Preberite našo stran za razkritje, če želite izvedeti, kako lahko pomagate MSPoweruser vzdrževati uredniško skupino Preberi več
Dva kitajska raziskovalca, Chia-Wen Lin in Min Sun, profesorja na oddelku za elektrotehniko nacionalne univerze Tsinghua na Tajvanu, sta ustvarila bota, ki bo namesto vas gledal vaš videoposnetek, določil njegove poudarke, ustvaril ustrezen naslov za enostavno iskanje in priporočam, kdo bi morda želel biti označen za ogled.
Profesor Lin in profesor Sun sta po navdihu COCO (Common Objects in Context) podjetja Microsoft Research sodelovala z dr. Tao Mei, vodilnim raziskovalcem multimedije pri Microsoft Research Asia leta 2015, z uporabo napisov COCO za povečevanje stavkov in uporabo napisov v MSCOCO za usposabljanje svojih sistem.
Njihov lastni sistem je analiziral 18,000 videoposnetkov za vrhunce in ustvaril 44,000 naslovov/opisov. Za izboljšanje sistema so profesor Sun in njegovi študenti sodelovali v izzivu VideoToText, ki ga sponzorira Microsoft Research, pri čemer so podatke, objavljene v izzivu, uporabili za dodatno potrditev.
"Naša raziskava nas je pripeljala korak bližje svetemu gralu vizualne inteligence, razumevanju vizualne vsebine v videoposnetkih, ki jih ustvarijo uporabniki," je dejal profesor Sun.
Njihove raziskave vam bodo sčasoma omogočile, da preprosto najdete in gledate vsebino, ki jo ustvarijo uporabniki na družbenih omrežjih, vključno s tistim neverjetnim posnetkom vašega dedka, ki izgublja zobe med plesom na poroki vašega bratranca.
Raziskave profesorja Suna in dr. Tao Meija so bili objavljeni na Arxiv.org tukaj.
