Microsoft Research вдохновила робота для создания субтитров к видео

Два китайских исследователя, Чиа-Вэнь Линь и Мин Сун, профессора факультета электротехники Национального университета Цинхуа на Тайване, создали бота, который просматривает ваше видео вместо вас, определяет его основные моменты, создает соответствующий заголовок для облегчения поиска и порекомендуйте, кто может захотеть быть отмеченным, чтобы посмотреть его.

Вдохновленные COCO (Common Objects in Context) Microsoft Research, профессор Лин и профессор Сун сотрудничали с доктором Тао Мэй, ведущим исследователем в области мультимедиа в Microsoft Research Asia в 2015 году, используя подписи COCO для расширения предложений и используя подписи в MSCOCO для обучения своих система.

Их собственная система проанализировала 18,000 44,000 видео на предмет основных моментов и сгенерировала XNUMX XNUMX заголовков/описаний. Чтобы улучшить систему, профессор Сан и его студенты приняли участие в конкурсе VideoToText, спонсируемом Microsoft Research, используя данные, опубликованные в конкурсе, для дополнительной проверки.

«Наше исследование сделало нас на один шаг ближе к святому Граалю визуального интеллекта — к пониманию визуального контента в видеороликах, созданных пользователями», — сказал профессор Сан.

Их исследование в конечном итоге позволит вам легко находить и просматривать пользовательский контент в социальных сетях, в том числе тот удивительный клип, в котором ваш дедушка теряет зубы во время танца на свадьбе вашего двоюродного брата.

Исследования профессора Суна и доктора Тао Мэй были опубликованы на Arxiv.org здесь.