Microsoft Research розробляє виправлення на основі штучного інтелекту для розмитих зображень через камери під дисплеєм

Після успіху фронтальної камери з прорізом, наступною серйозною розробкою для селфі-камер є камери під дисплеєм, де камери розташовані за прозорим OLED-екраном, який все одно працюватиме як звичайний дисплей, коли не активний, але який би пропускати достатньо світла, щоб камера під ним могла зробити знімок, який можна використовувати.

Це останній аспект, який був проблемою і який Microsoft Research досліджує.

Вони відзначають, що дифракція на структурі пікселів екрана може розмити зображення, зменшити контраст, зменшити корисний рівень освітлення і навіть повністю заблокувати деякий вміст зображення, що залежить від дизайну пікселя дисплея пристрою.

На щастя, деградація відбувається в передбачуваний спосіб і через структуру пікселів, як правило, тільки в горизонтальному напрямку.

Щоб компенсувати погіршення зображення, властиве фотографуванню через екран T-OLED, дослідники використали структуру нейронної мережі U-Net, яка покращує співвідношення сигнал/шум і знімає розмиття зображення. Команда змогла отримати відновлене зображення, яке практично не відрізнитиме від зображення, яке було сфотографовано безпосередньо.

Покращення можна побачити на прикладі зображення нижче:

Оригінал, фото нормально:

Зроблено на екрані T-OLED:

Після відновлення зображення:

Залучення штучного інтелекту до зйомки зображень також дозволяє використовувати інші цікаві методи, такі як розмивання або заміну фону, а також інші методи маніпуляції з відео, що дозволяє здійснювати кращі та природніші відеодзвінки.

Схоже, Microsoft розробляє цю роботу в основному для використання на великих екранах у налаштуваннях відеоконференцій, але я впевнений, що це також стосуватиметься вашого наступного флагманського смартфона.

Детальніше про проект читайте в Microsoft тут.

через WalkingCat