ה-VALL-E של מיקרוסופט מעתיק את קולות הדוברים המקוריים, רגשות כדי לסנתז נאומים מותאמים אישית

מודל השפה החדש של מיקרוסופט VALL-E הוא כלי בינה מלאכותית מעניין שיכול להעתיק קולות אנושיים ואפילו את הרגשות והטונים שבהם. זה צריך רק הקלטה של ​​שלוש שניות כדי לשמש כהנחיה אקוסטית אבל יכול להעביר מסר אחר באמצעות קולו של הדובר המקורי. (AITopics באמצעות Windows המרכזית)

מיקרוסופט משקיעה הרבה ב-AI. מלבד טכנולוגיית ChatGPT AI של OpenAI (שתשולב ב בינג ואחר אפליקציות משרד), יש לו גם את הכלי VALL-E שיצא לאחרונה. זהו מודל שפה שאומן על 60,000 שעות של נתוני דיבור באנגלית. באמצעות טכנולוגיה זו, אדם יכול לסנתז דיבור מותאם אישית באמצעות קולו של רמקול אחר.

בניסוי המפורט במאמר (אוניברסיטת קורנל), VALL-E נבדק והוביל לתוצאות חיוביות.

"תוצאות הניסוי מראות ש-VALL-E עולה בהרבה על מערכת ה-TTS החדישה ביותר עם צילום אפס במונחים של טבעיות הדיבור ודמיון הדוברים", נכתב בעיתון. "בנוסף, אנו מוצאים ש-VALL-E יכול לשמר את הרגש והסביבה האקוסטית של הדובר של ההנחיה האקוסטית בסינתזה."

בחלק מה דגימות משותף, הנאומים המסונתזים באמצעות הנחיות אקוסטיות נשמעים כמעט ללא רבב. VALL-E הצליח להעתיק את אותם צלילים ורגשות מהרמקולים המקוריים ואף השתמש בהם בהעברת נאום מותאם אישית שונה מאוד. למשל, הוא הצליח להפיק הקלטות של אותו משפט ("עלינו לצמצם את מספר שקיות הניילון") נמסר במצבי רוח או בטונים שונים, כגון כעס, ישנוניות, ניטרליות, שעשוע וגועל.

למרות ביצועים יוצאי דופן אלה, למיקרוסופט יש כנראה תוכניות נוספות לשפר את VALL-E יותר בעתיד כדי לעזור לה לספק ביצועים ללא דופי יותר. ולמרות שהיא יכולה להיות שימושית עבור תרחישים שונים של מקרה, הטכנולוגיה יכולה להיות גם מסוכנת תחת ידיהם של האנשים הלא נכונים. למרבה המזל, זה כרגע לא זמין לציבור, מה שיכול לתת לחברת רדמונד יותר זמן לחשוב איך והיכן היא תציע את הטכנולוגיה הזו.

מה דעתך על זה? ספר לנו בקטע התגובות.