Microsoft Research מפתחת תיקון מבוסס בינה מלאכותית לתמונות מטושטשות עקב מצלמות תת-תצוגה

לאחר הצלחת המצלמה הקדמית עם חורים, הפיתוח הגדול הבא עבור מצלמות סלפי הוא מצלמות מתחת לתצוגה, כאשר המצלמות נמצאות מאחורי מסך OLED שקוף שעדיין יעבוד כתצוגה רגילה כאשר אינו פעיל, אך אפשר מספיק אור כדי לאפשר למצלמה שמתחתיה לצלם תמונה שמישה.

זה ההיבט האחרון שהיווה בעיה, ושמיקרוסופט מחקר חקרה.

הם מציינים כי עקיפה ממבנה הפיקסלים של המסך יכולה לטשטש את התמונה, להפחית ניגודיות, להפחית את רמות האור הניתנות לשימוש, ואפילו לחסום חלק מתוכן תמונה לחלוטין, בדרכים התלויות בעיצוב פיקסל התצוגה של המכשיר.

למרבה המזל, השפלה מתרחשת בצורה צפויה ובשל מבנה הפיקסלים בדרך כלל רק בכיוון האופקי.

כדי לפצות על השפלת התמונה הגלומה בצילום דרך מסך T-OLED, החוקרים השתמשו במבנה רשת עצבית של U-Net שגם משפר את יחס האות לרעש וגם מבטל את טשטוש התמונה. הצוות הצליח להשיג תמונה משוחזרת שכמעט ואינה ניתנת להבדלה מתמונה שצולמה ישירות.

את השיפור ניתן לראות בתמונה לדוגמה למטה:

מקורי, מצולם בדרך כלל:

צולם דרך מסך T-OLED:

לאחר שחזור תמונה:

שילוב בינה מלאכותית בלכידת תמונה מאפשרת גם טכניקות מעניינות אחרות כמו טשטוש או החלפת הרקע וטכניקות אחרות של מניפולציה של וידאו המאפשרות שיחות וידאו טובות וטבעיות יותר.

נראה שמיקרוסופט מפתחת את העבודה בעיקר לשימוש במסכים גדולים יותר בהגדרות של ועידת וידאו, אבל אני בטוח שזה יחול באותה מידה על סמארטפון הדגל הבא שלך.

קרא עוד על הפרויקט ב-Microsoft כאן.

באמצעות הליכה