Microsoft Research utvikler AI-basert løsning for uskarpe bilder på grunn av kameraer under visning

Etter suksessen til frontkameraet med hull i hull, er den neste store utviklingen for selfie-kameraer kameraer med fullstendig underskjerm, der kameraene er bak en gjennomsiktig OLED-skjerm som fortsatt vil fungere som en vanlig skjerm når den ikke er aktiv, men som ville la nok lys slippe gjennom slik at kameraet under kan ta et brukbart bilde.

Det er det siste aspektet som har vært et problem, og som Microsoft Research har undersøkt.

De bemerker at diffraksjon fra skjermens pikselstruktur kan gjøre bildet uskarpt, redusere kontrasten, redusere brukbare lysnivåer og til og med blokkere noe bildeinnhold helt, på måter som er avhengig av enhetens skjermpikseldesign.

Heldigvis skjer nedbrytningen på en forutsigbar måte og på grunn av pikselstrukturen vanligvis bare i horisontal retning.

For å kompensere for bildedegraderingen som ligger i fotografering gjennom en T-OLED-skjerm, brukte forskerne en U-Net nevrale nettverksstruktur som både forbedrer signal-til-støy-forholdet og fjerner uskarphet i bildet. Teamet var i stand til å oppnå et gjenopprettet bilde som nesten ikke kan skilles fra et bilde som ble fotografert direkte.

Forbedringen kan sees i eksempelbildet nedenfor:

Original, fotografert normalt:

Fotografert gjennom en T-OLED-skjerm:

Etter bildegjenoppretting:

Å involvere AI i bildefangst tillater også andre interessante teknikker som uskarphet eller erstatning av bakgrunnen og andre videomanipulasjonsteknikker som gir bedre og mer naturlige videosamtaler.

Microsoft ser ut til å utvikle arbeidet primært for bruk på større skjermer i videokonferanseinnstillinger, men jeg er sikker på at det vil gjelde like mye for din neste flaggskipsmarttelefon.

Les mer om prosjektet hos Microsoft her..

av WalkingCat