Microsoft Research udvikler AI-baseret rettelse til slørede billeder på grund af Under-Display-kameraer

Efter succesen med punch-hole front-vendende kamera er den næste store udvikling for selfie-kameraer helt under-display-kameraer, hvor kameraerne er bag en gennemsigtig OLED-skærm, som stadig ville fungere som en normal skærm, når den ikke er aktiv, men som ville tillade nok lys igennem, så kameraet nedenunder kan tage et brugbart billede.

Det er det sidste aspekt, som har været et problem, og som Microsoft Research har undersøgt.

De bemærker, at diffraktion fra skærmens pixelstruktur kan sløre billedet, reducere kontrast, reducere brugbare lysniveauer og endda blokere noget billedindhold helt på måder, der er afhængige af enhedens display-pixel-design.

Heldigvis sker nedbrydningen på en forudsigelig måde og på grund af pixelstrukturen generelt kun i vandret retning.

For at kompensere for billedforringelsen, der er forbundet med fotografering gennem en T-OLED-skærm, brugte forskerne en U-Net neural-netværksstruktur, der både forbedrer signal-til-støj-forholdet og fjerner sløringen af ​​billedet. Holdet var i stand til at opnå et gendannet billede, der praktisk talt ikke kan skelnes fra et billede, der blev fotograferet direkte.

Forbedringen kan ses på eksempelbilledet nedenfor:

Original, fotograferet normalt:

Fotograferet gennem en T-OLED-skærm:

Efter billedgendannelse:

At involvere AI i billedoptagelse tillader også andre interessante teknikker såsom sløring eller udskiftning af baggrunden og andre videomanipulationsteknikker, som giver mulighed for bedre og mere naturlige videoopkald.

Microsoft ser ud til at udvikle værket primært til brug på større skærme i videokonferenceindstillinger, men jeg er sikker på, at det ville gælde lige så meget for din næste flagskibssmartphone.

Læs mere om projektet hos Microsoft link..

via WalkingCat