Microsoft Research opracowuje poprawkę opartą na sztucznej inteligencji dla nieostrych zdjęć spowodowanych przez kamery Under-Display

Po sukcesie przedniej kamery z dziurkowanym otworem, kolejnym ważnym osiągnięciem dla aparatów do selfie są kamery w pełni niewyświetlane, w których kamery znajdują się za przezroczystym ekranem OLED, który nadal działałby jako normalny wyświetlacz, gdy nie jest aktywny, ale który przepuść wystarczającą ilość światła, aby aparat pod spodem mógł zrobić użyteczne zdjęcie.

To ostatni aspekt, który był problemem i który badał Microsoft Research.

Zauważają, że dyfrakcja ze struktury pikseli ekranu może rozmywać obraz, zmniejszać kontrast, zmniejszać użyteczne poziomy światła, a nawet całkowicie blokować niektóre treści obrazu, w sposób zależny od konstrukcji piksela urządzenia.

Na szczęście degradacja następuje w przewidywalny sposób i ze względu na strukturę pikseli generalnie tylko w kierunku poziomym.

Aby zrekompensować degradację obrazu związaną z fotografowaniem za pomocą ekranu T-OLED, naukowcy wykorzystali strukturę sieci neuronowej U-Net, która zarówno poprawia stosunek sygnału do szumu, jak i rozmywa obraz. Zespołowi udało się uzyskać odzyskany obraz, który jest praktycznie nie do odróżnienia od obrazu sfotografowanego bezpośrednio.

Poprawę widać na przykładowym obrazku poniżej:

Oryginał, normalnie fotografowany:

Fotografowane za pomocą ekranu T-OLED:

Po odzyskaniu obrazu:

Zaangażowanie AI w przechwytywanie obrazu pozwala również na inne interesujące techniki, takie jak rozmycie lub zamiana tła i inne techniki manipulacji wideo, które pozwalają na lepsze i bardziej naturalne rozmowy wideo.

Wygląda na to, że Microsoft opracowuje pracę przede wszystkim do użytku na większych ekranach w ustawieniach wideokonferencji, ale jestem pewien, że będzie to dotyczyło również twojego następnego flagowego smartfona.

Przeczytaj więcej o projekcie w Microsoft tutaj.

przez WalkingCat