Penelitian Microsoft menginspirasi bot teks video

Dua peneliti China, Chia-Wen Lin dan Min Sun, profesor di departemen Teknik Elektro Universitas Nasional Tsinghua di Taiwan, telah membuat bot yang akan menonton video Anda untuk Anda, menentukan sorotannya, membuat judul yang relevan untuk memudahkan pencarian, dan merekomendasikan siapa yang mungkin ingin ditandai untuk menontonnya.

Terinspirasi oleh COCO (Common Objects in Context) Microsoft Research, Profesor Lin dan Profesor Sun berkolaborasi dengan Dr. Tao Mei, seorang peneliti utama dalam multimedia di Microsoft Research Asia pada tahun 2015, menggunakan teks COCO untuk penambahan kalimat dan menggunakan teks dalam MSCOCO untuk melatih mereka sistem.

Sistem mereka sendiri menganalisis 18,000 video untuk sorotan dan menghasilkan 44,000 judul/deskripsi. Untuk meningkatkan sistem, Profesor Sun dan murid-muridnya berpartisipasi dalam tantangan VideoToText yang disponsori oleh Microsoft Research, menggunakan data yang dirilis dalam tantangan untuk validasi tambahan.

“Penelitian kami telah membawa kami selangkah lebih dekat ke cawan suci kecerdasan visual, memahami konten visual dalam video yang dibuat pengguna,” kata Profesor Sun.

Penelitian mereka pada akhirnya akan memungkinkan Anda untuk dengan mudah menemukan dan menonton konten buatan pengguna di media sosial, termasuk klip menakjubkan kakek Anda kehilangan giginya saat menari di pernikahan sepupu Anda.

Penelitian Profesor Sun dan Dr. Tao Mei telah diterbitkan di Arxiv.org di sini.