Microsoft Research inspiră subtitrări video

Doi cercetători chinezi, Chia-Wen Lin și Min Sun, profesori în cadrul departamentului de inginerie electrică a Universității Naționale Tsinghua din Taiwan, au creat un bot care vă va urmări videoclipul pentru dvs., va determina cele mai importante momente ale acestuia, va crea un titlu relevant pentru o căutare ușoară și recomandă cine ar dori să fie etichetat pentru a-l viziona.

Inspirați de COCO (Obiecte comune în context) de la Microsoft Research, profesorul Lin și profesorul Sun au colaborat cu Dr. Tao Mei, un cercetător principal în multimedia la Microsoft Research Asia în 2015, folosind subtitrări COCO pentru creșterea propozițiilor și folosind subtitrări în MSCOCO pentru a-și instrui sistem.

Sistemul propriu a analizat 18,000 de videoclipuri pentru momente importante și a generat 44,000 de titluri/descrieri. Pentru a îmbunătăți sistemul, profesorul Sun și studenții săi au participat la provocarea VideoToText sponsorizată de Microsoft Research, folosind datele lansate în provocare pentru validare suplimentară.

„Cercetarea noastră ne-a adus cu un pas mai aproape de Sfântul Graal al inteligenței vizuale, înțelegerea conținutului vizual din videoclipurile generate de utilizatori”, a spus profesorul Sun.

Cercetarea lor vă va permite în cele din urmă să găsiți și să vizionați cu ușurință conținut generat de utilizatori pe rețelele sociale, inclusiv acel clip uimitor cu bunicul tău care își pierde dinții în timp ce dansează la nunta vărului tău.

Cercetarea profesorului Sun și a Dr. Tao Mei au fost publicate pe Arxiv.org aici.