Microsoft Research เป็นแรงบันดาลใจให้บอทคำบรรยายวิดีโอ
2 นาที. อ่าน
เผยแพร่เมื่อ
แชร์บทความนี้
ปรับปรุงคู่มือนี้
อ่านหน้าการเปิดเผยข้อมูลของเราเพื่อดูว่าคุณจะช่วย MSPoweruser รักษาทีมบรรณาธิการได้อย่างไร อ่านเพิ่มเติม
นักวิจัยชาวจีนสองคน Chia-Wen Lin และ Min Sun อาจารย์ในภาควิชาวิศวกรรมไฟฟ้าของมหาวิทยาลัย Tsinghua แห่งชาติในไต้หวันได้สร้างบอทที่จะดูวิดีโอของคุณ กำหนดไฮไลท์ สร้างชื่อที่เกี่ยวข้องเพื่อให้ค้นหาได้ง่าย และ แนะนำผู้ที่อาจต้องการถูกแท็กเพื่อดู
โดยได้รับแรงบันดาลใจจาก COCO ของ Microsoft Research (Common Objects in Context) ศาสตราจารย์ Lin และ Professor Sun ได้ร่วมมือกับ Dr. Tao Mei หัวหน้านักวิจัยด้านมัลติมีเดียที่ Microsoft Research Asia ในปี 2015 โดยใช้คำบรรยาย COCO สำหรับการเสริมประโยค และใช้คำบรรยายใน MSCOCO เพื่อฝึกอบรม ระบบ.
ระบบของพวกเขาวิเคราะห์วิดีโอ 18,000 รายการสำหรับไฮไลท์ และสร้าง 44,000 ชื่อ/คำอธิบาย เพื่อปรับปรุงระบบ ศาสตราจารย์ซันและนักเรียนของเขาได้เข้าร่วมในการท้าทาย VideoToText ซึ่งได้รับการสนับสนุนจาก Microsoft Research โดยใช้ข้อมูลที่เผยแพร่ในการท้าทายสำหรับการตรวจสอบเพิ่มเติม
ศาสตราจารย์ซันกล่าวว่า "การวิจัยของเราได้นำเราเข้าใกล้จอกศักดิ์สิทธิ์ของความฉลาดทางภาพมากขึ้นอีกก้าวหนึ่ง ทำความเข้าใจเนื้อหาภาพในวิดีโอที่ผู้ใช้สร้างขึ้น
การวิจัยของพวกเขาในที่สุดจะช่วยให้คุณสามารถค้นหาและดูเนื้อหาที่ผู้ใช้สร้างขึ้นบนโซเชียลมีเดียได้อย่างง่ายดาย ซึ่งรวมถึงคลิปที่น่าทึ่งของคุณปู่ของคุณที่สูญเสียฟันขณะเต้นรำในงานแต่งงานของลูกพี่ลูกน้องของคุณ
งานวิจัยของศาสตราจารย์ซุนและดร.เถา เหม่ย ได้รับการเผยแพร่ที่ Arxiv.org ที่นี่.
