Microsoft Research inspire bot de subtítulos de video

Dos investigadores chinos, Chia-Wen Lin y Min Sun, profesores del departamento de Ingeniería Eléctrica de la Universidad Nacional Tsinghua en Taiwán, han creado un bot que verá su video por usted, determinará sus aspectos más destacados, creará un título relevante para facilitar la búsqueda y Recomendar a quien quiera ser etiquetado para verlo.

Inspirándose en COCO (Objetos comunes en contexto) de Microsoft Research, el profesor Lin y el profesor Sun colaboraron con el Dr. Tao Mei, investigador líder en multimedia en Microsoft Research Asia en 2015, usando subtítulos COCO para aumentar oraciones y usando subtítulos en MSCOCO para entrenar a sus sistema.

Su propio sistema analizó 18,000 44,000 videos en busca de momentos destacados y generó XNUMX XNUMX títulos/descripciones. Para mejorar el sistema, el profesor Sun y sus alumnos participaron en el desafío VideoToText patrocinado por Microsoft Research, utilizando los datos publicados en el desafío para una validación adicional.

“Nuestra investigación nos ha llevado un paso más cerca del santo grial de la inteligencia visual, la comprensión del contenido visual en los videos generados por los usuarios”, dijo el profesor Sun.

Su investigación eventualmente le permitirá encontrar y mirar fácilmente el contenido generado por el usuario en las redes sociales, incluido ese increíble video de su abuelo perdiendo los dientes mientras bailaba en la boda de su primo.

La investigación del profesor Sun y el Dr. Tao Mei han sido publicados en Arxiv.org aquí.