Microsoft Research inspire бот для субтитрів до відео
2 хв. читати
Опубліковано
Поділитися цією статтею
Удосконалити цей посібник
Прочитайте нашу сторінку розкриття інформації, щоб дізнатися, як ви можете допомогти MSPoweruser підтримувати редакційну команду Читати далі
Двоє китайських дослідників, Чіа-Вен Лін і Мін Сунь, професори факультету електротехніки Національного університету Цінхуа в Тайвані, створили бота, який переглядатиме ваше відео замість вас, визначатиме його основні моменти, створюватиме релевантну назву для зручного пошуку та рекомендувати, хто може захотіти бути позначений для перегляду.
Натхненні COCO (загальні об’єкти в контексті) від Microsoft Research, професор Лін і професор Сун співпрацювали з доктором Тао Мей, провідним дослідником мультимедіа в Microsoft Research Asia у 2015 році, використовуючи субтитри COCO для розширення речень і використовували субтитри в MSCOCO для навчання своїх система.
Їхня власна система проаналізувала 18,000 44,000 відео на предмет основних моментів і згенерувала XNUMX XNUMX назв/описів. Щоб удосконалити систему, професор Сан та його студенти взяли участь у конкурсі VideoToText, спонсорованому компанією Microsoft Research, використовуючи дані, надані під час конкурсу, для додаткової перевірки.
«Наше дослідження наблизило нас на один крок до святого Грааля візуального інтелекту, розуміння візуального вмісту у створених користувачами відео», — сказав професор Сан.
Їхні дослідження згодом дозволять вам легко знаходити та переглядати створений користувачами контент у соціальних мережах, включно з дивовижним роликом, на якому ваш дідусь втрачає зуби під час танцю на весіллі вашого двоюрідного брата.
Дослідження професора Суня та доктора Тао Мей були опубліковані на Arxiv.org тут.
