Microsoft Research utvecklar AI-baserad fix för suddiga bilder på grund av Under-Display-kameror

Efter framgången med den främre hålkameran är nästa stora utveckling för selfie-kameror helt under-display-kameror, där kamerorna är bakom en transparent OLED-skärm som fortfarande skulle fungera som en normal skärm när den inte är aktiv, men som skulle släpp igenom tillräckligt med ljus för att kameran under ska kunna ta en användbar bild.

Det är den sista aspekten som har varit ett problem, och som Microsoft Research har undersökt.

De noterar att diffraktion från skärmens pixelstruktur kan göra bilden suddig, minska kontrasten, minska användbara ljusnivåer och till och med blockera visst bildinnehåll helt, på sätt som är beroende av enhetens display-pixeldesign.

Lyckligtvis sker nedbrytningen på ett förutsägbart sätt och på grund av pixelstrukturen i allmänhet endast i horisontell riktning.

För att kompensera för bildförsämringen som är inneboende i fotografering genom en T-OLED-skärm använde forskarna en U-Net neural-nätverksstruktur som både förbättrar signal-brusförhållandet och gör bilden suddig. Teamet kunde uppnå en återställd bild som är praktiskt taget omöjlig att skilja från en bild som fotograferades direkt.

Förbättringen kan ses i exempelbilden nedan:

Original, fotograferat normalt:

Fotograferad genom en T-OLED-skärm:

Efter bildåterställning:

Att involvera AI i bildtagning tillåter också andra intressanta tekniker som att sudda ut eller ersätta bakgrunden och andra videomanipuleringstekniker som möjliggör bättre och mer naturliga videosamtal.

Microsoft verkar utveckla arbetet främst för användning på större skärmar i videokonferensinställningar, men jag är säker på att det skulle gälla lika mycket för din nästa flaggskeppssmartphone.

Läs mer om projektet hos Microsoft här..

via WalkingCat