Microsoft Research inspire le robot de sous-titrage vidéo

Deux chercheurs chinois, Chia-Wen Lin et Min Sun, professeurs au département de génie électrique de l'Université nationale de Tsinghua à Taïwan, ont créé un bot qui regardera votre vidéo pour vous, déterminera ses points forts, créera un titre pertinent pour faciliter la recherche et recommander qui pourrait vouloir être tagué pour le regarder.

Inspirés par le COCO (Common Objects in Context) de Microsoft Research, le professeur Lin et le professeur Sun ont collaboré avec le Dr Tao Mei, chercheur principal en multimédia chez Microsoft Research Asia en 2015, en utilisant les sous-titres COCO pour l'augmentation des phrases et en utilisant les sous-titres dans MSCOCO pour former leur système.

Leur propre système a analysé 18,000 44,000 vidéos pour les faits saillants et a généré XNUMX XNUMX titres/descriptions. Pour améliorer le système, le professeur Sun et ses étudiants ont participé au défi VideoToText parrainé par Microsoft Research, en utilisant les données publiées dans le défi pour une validation supplémentaire.

"Nos recherches nous ont rapprochés du Saint-Graal de l'intelligence visuelle, la compréhension du contenu visuel dans les vidéos générées par les utilisateurs", a déclaré le professeur Sun.

Leurs recherches vous permettront éventuellement de trouver et de regarder facilement du contenu généré par les utilisateurs sur les réseaux sociaux, y compris cet incroyable clip de votre grand-père perdant ses dents en dansant au mariage de votre cousin.

Les recherches du professeur Sun et du Dr Tao Mei ont été publiés sur Arxiv.org ici.