Microsoft Research inspiroi videoiden tekstitysbottia
2 min. lukea
Julkaistu
Jaa tämä artikkeli
Paranna tätä ohjetta
Lue ilmoitussivumme saadaksesi selville, kuinka voit auttaa MSPoweruseria ylläpitämään toimitustiimiä Lue lisää
Kaksi kiinalaista tutkijaa, Chia-Wen Lin ja Min Sun, Taiwanin kansallisen Tsinghuan yliopiston sähkötekniikan osaston professorit, ovat luoneet botin, joka katsoo videosi puolestasi, määrittää sen kohokohdat, luo osuvan otsikon helpottamaan hakua ja suosittele, ketkä saattavat haluta tulla merkityiksi katsomaan sen.
Microsoft Researchin COCO:n (Common Objects in Context) inspiroimana professori Lin ja professori Sun tekivät yhteistyötä tohtori Tao Mein kanssa, joka oli Microsoft Research Asian johtava multimediatutkija vuonna 2015. He käyttivät COCO-tekstityksiä lauseen lisäykseen ja tekstityksiä MSCOCO:ssa kouluttaakseen omaa toimintaansa. järjestelmä.
Heidän oma järjestelmänsä analysoi 18,000 44,000 videota kohokohtien varalta ja loi XNUMX XNUMX otsikkoa/kuvausta. Järjestelmän parantamiseksi professori Sun ja hänen opiskelijansa osallistuivat Microsoft Researchin sponsoroimaan VideoToText-haasteeseen käyttämällä haasteessa julkaistuja tietoja lisävalidointiin.
"Tutkimuksemme on vienyt meidät askeleen lähemmäksi visuaalisen älyn maljaa, visuaalisen sisällön ymmärtämistä käyttäjien luomissa videoissa", sanoi professori Sun.
Heidän tutkimuksensa avulla voit lopulta löytää ja katsoa helposti käyttäjien luomaa sisältöä sosiaalisessa mediassa, mukaan lukien upea leike isoisäsi menettäneestä hampaansa tanssiessaan serkkusi häissä.
Professori Sunin ja tohtori Tao Mein tutkimus on julkaistu osoitteessa Arxiv.org täällä.
