Microsoft Research inspireert bot voor ondertiteling voor video's

Twee Chinese onderzoekers, Chia-Wen Lin en Min Sun, professoren aan de afdeling Electrical Engineering van de National Tsinghua University in Taiwan, hebben een bot gemaakt die je video voor je zal bekijken, de hoogtepunten zal bepalen, een relevante titel zal creëren om gemakkelijk te zoeken, en raad aan wie misschien getagd wil worden om het te bekijken.

Geïnspireerd door COCO (Common Objects in Context) van Microsoft Research, werkten professor Lin en professor Sun samen met Dr. Tao Mei, een hoofdonderzoeker in multimedia bij Microsoft Research Asia in 2015, met behulp van COCO-ondertitels voor zinsvergroting en het gebruik van bijschriften in MSCOCO om hun systeem.

Hun eigen systeem analyseerde 18,000 video's op hoogtepunten en genereerde 44,000 titels/beschrijvingen. Om het systeem te verbeteren, namen professor Sun en zijn studenten deel aan de VideoToText-uitdaging, gesponsord door Microsoft Research, en gebruikten de gegevens die in de uitdaging werden vrijgegeven voor extra validatie.

"Ons onderzoek heeft ons een stap dichter bij de heilige graal van visuele intelligentie gebracht, namelijk het begrijpen van visuele inhoud in door gebruikers gegenereerde video's", zegt professor Sun.

Hun onderzoek zal je uiteindelijk in staat stellen om gemakkelijk door gebruikers gegenereerde inhoud op sociale media te vinden en te bekijken, inclusief die geweldige clip van je opa die zijn tanden verliest tijdens het dansen op de bruiloft van je neef.

Onderzoek van professor Sun en Dr. Tao Mei zijn gepubliceerd op Arxiv.org hier.