Robot na tvorbu titulkov videa inšpiruje výskum spoločnosti Microsoft

Dvaja čínski výskumníci, Chia-Wen Lin a Min Sun, profesori na oddelení elektrotechniky na Národnej univerzite Tsinghua na Taiwane, vytvorili robota, ktorý za vás pozrie vaše video, určí jeho najdôležitejšie body, vytvorí relevantný názov pre jednoduché vyhľadávanie a odporúčame, aby si to pozreli tí, ktorí by chceli byť označení.

Profesor Lin a profesor Sun, inšpirovaní COCO (Common Objects in Context) od Microsoft Research, spolupracovali s Dr. Tao Mei, vedúcim výskumníkom v oblasti multimédií v Microsoft Research Asia v roku 2015, pomocou COCO titulkov na zväčšovanie viet a pomocou titulkov v MSCOCO na trénovanie svojich systém.

Ich vlastný systém analyzoval 18,000 44,000 videí a vygeneroval XNUMX XNUMX názvov/popisov. Na zlepšenie systému sa profesor Sun a jeho študenti zúčastnili výzvy VideoToText sponzorovanej spoločnosťou Microsoft Research, pričom použili údaje zverejnené vo výzve na dodatočné overenie.

„Náš výskum nás posunul o krok bližšie k svätému grálu vizuálnej inteligencie, keď sme pochopili vizuálny obsah vo videách vytvorených používateľmi,“ povedal profesor Sun.

Ich výskum vám nakoniec umožní ľahko nájsť a sledovať obsah vytvorený používateľmi na sociálnych médiách vrátane toho úžasného klipu, v ktorom váš starý otec prišiel o zuby pri tanci na svadbe vášho bratranca.

Výskum profesora Suna a doktora Tao Mei boli zverejnené na Arxiv.org tu.