A Microsoft Research inspirálja a videofeliratozási robotot
2 perc olvas
Publikálva
Ossza meg ezt a cikket
Javítsa ezt az útmutatót
Olvassa el közzétételi oldalunkat, hogy megtudja, hogyan segítheti az MSPowerusert a szerkesztői csapat fenntartásában Tovább
Két kínai kutató, Chia-Wen Lin és Min Sun, a tajvani Nemzeti Csinghua Egyetem Villamosmérnöki Tanszékének professzorai létrehoztak egy robotot, amely megnézi az Ön videóját, meghatározza a kiemeléseket, megfelelő címet hoz létre a könnyű keresés érdekében, és ajánlom, hogy kik szeretnének megcímkézni, hogy nézzék meg.
A Microsoft Research COCO (Common Objects in Context) által ihletett Lin professzor és Sun professzor együttműködött Dr. Tao Mei-vel, a Microsoft Research Asia vezető multimédiás kutatójával 2015-ben, COCO-feliratokat használva mondatbővítésre, és feliratokat az MSCOCO-ban, hogy megtanítsák őket. rendszer.
Saját rendszerük 18,000 44,000 videót elemzett a kiemelések érdekében, és XNUMX XNUMX címet/leírást generált. A rendszer fejlesztése érdekében Sun professzor és tanítványai részt vettek a Microsoft Research által szponzorált VideoToText kihívásban, felhasználva a kihívásban közzétett adatokat további érvényesítéshez.
"Kutatásunk egy lépéssel közelebb vitt minket a vizuális intelligencia szent gráljához, a felhasználók által generált videók vizuális tartalmának megértéséhez" - mondta Sun professzor.
Kutatásaik végül lehetővé teszik, hogy könnyedén megtalálja és megtekintse a felhasználók által generált tartalmakat a közösségi médiában, beleértve azt a csodálatos klipet, amelyen a nagypapája elvesztette a fogát, miközben az unokatestvére esküvőjén táncol.
Sun professzor és Dr. Tao Mei kutatásai Az Arxiv.org oldalon itt tették közzé.
