Microsoft Research inspirerar videotextningsbot
2 min. läsa
Publicerad den
Dela den här artikeln
Förbättra den här guiden
Läs vår informationssida för att ta reda på hur du kan hjälpa MSPoweruser upprätthålla redaktionen Läs mer
Två kinesiska forskare, Chia-Wen Lin och Min Sun, professorer vid avdelningen för elektroteknik vid National Tsinghua University i Taiwan, har skapat en bot som kommer att titta på din video åt dig, fastställa dess höjdpunkter, skapa en relevant titel för enkel sökning och rekommendera vem som kanske vill bli taggad för att se den.
Inspirerade av Microsoft Researchs COCO (Common Objects in Context) samarbetade professor Lin och professor Sun med Dr. Tao Mei, en ledande forskare inom multimedia vid Microsoft Research Asia 2015, och använde COCO-texter för meningsförstärkning och använde bildtexter i MSCOCO för att träna deras systemet.
Deras eget system analyserade 18,000 44,000 videor för höjdpunkter och genererade XNUMX XNUMX titlar/beskrivningar. För att förbättra systemet deltog professor Sun och hans studenter i VideoToText-utmaningen som sponsrades av Microsoft Research, och använde data som släpptes i utmaningen för ytterligare validering.
"Vår forskning har tagit oss ett steg närmare den visuella intelligensens heliga graal, att förstå visuellt innehåll i användargenererade videor", säger professor Sun.
Deras forskning kommer så småningom att göra det möjligt för dig att enkelt hitta och titta på användargenererat innehåll på sociala medier, inklusive det där fantastiska klippet där din morfar tappar tänderna medan han dansar på din kusins bröllop.
Professor Sun och Dr. Tao Meis forskning har publicerats på Arxiv.org här.
