Microsoft Research vyvíja opravu na základe AI pre rozmazané obrázky v dôsledku kamier pod displejom

Po úspechu dierovanej prednej kamery sú ďalším veľkým vývojom pre selfie kamery kamery s úplným spodným displejom, kde sú kamery za priehľadnou OLED obrazovkou, ktorá by stále fungovala ako normálny displej, keď nie je aktívna, ale ktorá by prepustite dostatok svetla, aby fotoaparát pod ním mohol nasnímať použiteľný obrázok.

Je to posledný aspekt, ktorý bol problémom a ktorý Microsoft Research skúmal.

Poznamenávajú, že difrakcia z pixelovej štruktúry obrazovky môže rozmazať obraz, znížiť kontrast, znížiť použiteľné úrovne osvetlenia a dokonca úplne zablokovať určitý obsah obrazu spôsobmi, ktoré závisia od dizajnu pixelov displeja zariadenia.

Našťastie k degradácii dochádza predvídateľným spôsobom a kvôli pixelovej štruktúre vo všeobecnosti iba v horizontálnom smere.

Aby sa kompenzovala degradácia obrazu spojená s fotografovaním cez obrazovku T-OLED, výskumníci použili štruktúru neurónovej siete U-Net, ktorá zlepšuje pomer signálu k šumu a zároveň odstraňuje rozmazanie obrazu. Tímu sa podarilo dosiahnuť obnovenú snímku, ktorá je prakticky nerozoznateľná od snímky, ktorá bola odfotografovaná priamo.

Zlepšenie je možné vidieť na vzorovom obrázku nižšie:

Originál, normálne fotené:

Fotografované cez T-OLED obrazovku:

Po obnovení obrazu:

Zapojenie AI do snímania obrazu tiež umožňuje ďalšie zaujímavé techniky, ako je rozmazanie alebo nahradenie pozadia a ďalšie techniky manipulácie s videom, ktoré umožňujú lepšie a prirodzenejšie videohovory.

Zdá sa, že Microsoft vyvíja prácu predovšetkým na použitie na väčších obrazovkách v nastaveniach videokonferencií, ale som si istý, že by to platilo rovnako pre váš ďalší vlajkový smartfón.

Prečítajte si viac o projekte v spoločnosti Microsoft tu.

via WalkingCat