Microsoft Research inspira bot de legendagem de vídeo

Dois pesquisadores chineses, Chia-Wen Lin e Min Sun, professores do departamento de Engenharia Elétrica da Universidade Nacional de Tsinghua em Taiwan, criaram um bot que assistirá seu vídeo para você, determinará seus destaques, criará um título relevante para facilitar a pesquisa e recomendo quem quiser ser marcado para assistir.

Inspirados pelo COCO (Common Objects in Context) da Microsoft Research, o professor Lin e o professor Sun colaboraram com o Dr. Tao Mei, pesquisador principal em multimídia da Microsoft Research Asia em 2015, usando legendas COCO para aumento de frases e legendas em MSCOCO para treinar seus sistema.

Seu próprio sistema analisou 18,000 vídeos para destaques e gerou 44,000 títulos/descrições. Para melhorar o sistema, o professor Sun e seus alunos participaram do desafio VideoToText patrocinado pela Microsoft Research, usando os dados divulgados no desafio para validação adicional.

“Nossa pesquisa nos levou um passo mais perto do santo graal da inteligência visual, entendendo o conteúdo visual em vídeos gerados pelo usuário”, disse o professor Sun.

A pesquisa deles eventualmente permitirá que você encontre e assista facilmente conteúdo gerado pelo usuário nas mídias sociais, incluindo aquele clipe incrível do seu avô perdendo os dentes enquanto dançava no casamento do seu primo.

Pesquisa do Professor Sun e do Dr. Tao Mei foram publicados em Arxiv.org aqui.