Microsoft Research ispira il bot per i sottotitoli dei video
2 minuto. leggere
Edizione del
Condividi questo articolo
Migliora questa guida
Leggi la nostra pagina informativa per scoprire come puoi aiutare MSPoweruser a sostenere il team editoriale Per saperne di più
Due ricercatori cinesi, Chia-Wen Lin e Min Sun, professori nel dipartimento di ingegneria elettrica della National Tsinghua University di Taiwan, hanno creato un bot che guarderà il tuo video per te, ne determinerà i punti salienti, creerà un titolo pertinente per una facile ricerca e consiglia a chi potrebbe voler essere taggato per guardarlo.
Ispirandosi a COCO (Common Objects in Context) di Microsoft Research, nel 2015 il professor Lin e il professor Sun hanno collaborato con il dottor Tao Mei, ricercatore capo nel settore multimediale presso Microsoft Research Asia, utilizzando didascalie COCO per aumentare le frasi e utilizzare didascalie in MSCOCO per addestrare i loro sistema.
Il loro sistema ha analizzato 18,000 video per i momenti salienti e ha generato 44,000 titoli/descrizioni. Per migliorare il sistema, il professor Sun ei suoi studenti hanno partecipato alla sfida VideoToText sponsorizzata da Microsoft Research, utilizzando i dati rilasciati nella sfida per un'ulteriore convalida.
"La nostra ricerca ci ha portato un passo avanti verso il Santo Graal dell'intelligenza visiva, comprendendo i contenuti visivi nei video generati dagli utenti", ha affermato il professor Sun.
La loro ricerca alla fine ti consentirà di trovare e guardare facilmente i contenuti generati dagli utenti sui social media, inclusa quella straordinaria clip di tuo nonno che perde i denti mentre balla al matrimonio di tuo cugino.
La ricerca del professor Sun e del dottor Tao Mei sono stati pubblicati su Arxiv.org qui.
