Microsoft Research truyền cảm hứng cho bot phụ đề video

Hai nhà nghiên cứu Trung Quốc, Chia-Wen Lin và Min Sun, giáo sư tại khoa Kỹ thuật điện của Đại học Quốc gia Thanh Hoa ở Đài Loan, đã tạo ra một bot sẽ xem video của bạn giúp bạn, xác định các điểm nổi bật của nó, tạo một tiêu đề phù hợp để dễ dàng tìm kiếm và giới thiệu những ai có thể muốn được gắn thẻ để xem nó.

Lấy cảm hứng từ COCO của Microsoft Research (Đối tượng chung trong ngữ cảnh), Giáo sư Lin và Giáo sư Sun đã hợp tác với Tiến sĩ Tao Mei, nhà nghiên cứu chính về đa phương tiện tại Microsoft Research Asia vào năm 2015, sử dụng phụ đề COCO để tăng câu và sử dụng phụ đề trong MSCOCO để đào tạo hệ thống.

Hệ thống của riêng họ đã phân tích 18,000 video để tìm điểm nổi bật và tạo ra 44,000 tiêu đề / mô tả. Để cải thiện hệ thống, Giáo sư Sun và các sinh viên của ông đã tham gia thử thách VideoToText do Microsoft Research tài trợ, sử dụng dữ liệu được phát hành trong thử thách để xác nhận bổ sung.

Giáo sư Sun cho biết: “Nghiên cứu của chúng tôi đã đưa chúng tôi tiến thêm một bước tới chén thánh của trí tuệ thị giác, hiểu được nội dung trực quan trong các video do người dùng tạo.

Nghiên cứu của họ cuối cùng sẽ cho phép bạn dễ dàng tìm và xem nội dung do người dùng tạo trên phương tiện truyền thông xã hội, bao gồm cả đoạn clip tuyệt vời về ông nội của bạn bị rụng răng trong khi khiêu vũ trong đám cưới của anh họ bạn.

Nghiên cứu của Giáo sư Sun và Tiến sĩ Tao Mei đã được xuất bản tại Arxiv.org ở đây.