Microsoft нашла решение самой большой проблемы технологии подэкранных камер

После успеха камер, размещенных в «заячьих ушках», «дырочных» или даже «выдвижных» группах, следующей целью, к которой стремятся производители смартфонов с помощью этой группы селфи-камер, является интеграция. Она находится прямо под панелью дисплея. обеспечение 100% «полноэкранного» экрана, избегая при этом необходимости использовать выдвижную конструкцию, из-за которой смартфон теряет водонепроницаемость.

По сути, кластер передней камеры будет расположен под прозрачным OLED-экраном. Эта панель по-прежнему может функционировать как обычный экран, но когда пользователь активирует селфи-камеру, она пропускает достаточно света для работы датчика камеры, расположенного ниже.

Идея такая, однако эта технология сталкивается с большой проблемой, которая заключается в том, что дифракция от структуры пикселей экрана может снизить качество фотографий, вызывая размытие изображения, уменьшение контрастности, отражения, снижение полезного уровня освещенности и даже полное исчезновение некоторых деталей на изображении. Фото. Серьезность проблемы зависит от дизайна пикселей экрана.

Фотографии, сделанные штатной камерой и камерой под экраном.

К счастью, вышеупомянутые эффекты происходят предсказуемым образом из-за того, что структура пикселей обычно направлена ​​горизонтально, и исследователи из Microsoft Research, похоже, нашли решение проблемы, которое заключается в использовании алгоритмов искусственного интеллекта (ИИ).

Чтобы компенсировать потерю качества изображения, возникающую при захвате изображения через T-OLED-дисплей, исследователи использовали структуру нейронной сети U-Net, которая не только улучшает соотношение сигнал/шум, но также может исправить явление размытия изображений. . Конечный результат показывает, что фотография, сделанная подэкранной камерой, имеет качество не хуже, чем фотография, сделанная обычной камерой.

Улучшение можно увидеть на примере изображения ниже:

Оригинал

Фотография сделана через экран T-OLED:

Фото после реставрации

Помощь ИИ в мобильной фотографии также приносит множество других интересных методов, таких как размытие или замена фона, а также методы глубокой обработки видео. Тем самым качество фотографий, сделанных с помощью компактных сенсорных систем на смартфонах, становится все более высоким.