Microsoft Research inspirerer videotekstingsbot

To kinesiske forskere, Chia-Wen Lin og Min Sun, professorer ved elektroingeniøravdelingen ved National Tsinghua University i Taiwan, har laget en bot som vil se videoen din for deg, bestemme høydepunktene, lage en relevant tittel for enkelt søk, og anbefaler hvem som kanskje vil bli tagget for å se den.

Inspirert av Microsoft Researchs COCO (Common Objects in Context), samarbeidet professor Lin og professor Sun med Dr. Tao Mei, en ledende forsker innen multimedia ved Microsoft Research Asia i 2015, og brukte COCO-tekster for setningsforstørrelse og brukte bildetekster i MSCOCO for å trene opp deres system.

Deres eget system analyserte 18,000 44,000 videoer for høydepunkter og genererte XNUMX XNUMX titler/beskrivelser. For å forbedre systemet deltok professor Sun og studentene hans i VideoToText-utfordringen sponset av Microsoft Research, og brukte dataene som ble utgitt i utfordringen for ytterligere validering.

"Vår forskning har ført oss ett skritt nærmere den hellige gral av visuell intelligens, å forstå visuelt innhold i brukergenererte videoer," sa professor Sun.

Forskningen deres vil til slutt gjøre det mulig for deg å enkelt finne og se brukergenerert innhold på sosiale medier, inkludert det fantastiske klippet av bestefaren din som mister tennene mens han danser i bryllupet til kusinen din.

Professor Sun og Dr. Tao Meis forskning har blitt publisert på Arxiv.org her.