21 июля 2019 г.

Искусственный интеллект заполняет дыры в фотографиях и даже в портретах

Работа алгоритма PEN-Net по восстановлению фотографии лица

Искусственный интеллект все чаще используют для манипуляции с фотографиями: меняют с его помощью освещение, удаляют фон, состаривают лица. Но новый инструмент, созданный на основе искусственного интеллекта, который представили китайские ученые, делает кое-что намного более мощное: алгоритм восстанавливает информацию, которая отсутствует на фотографии. Причем обрабатываются все жанры: пейзаж, архитектура и даже портрет — искусственный интеллект удивительно точно восполняет пробелы. Об этом рассказал сайт DIY Photography.

Алгоритм называется Pyramid-context Encoder Network, он разработан совместными усилиями Университета Сунь Ят-сен в Гуанчжоу и Исследовательской лабораторией Microsoft в Пекине. В работе алгоритма используется техника под названием «inpainting», она использует глубокое обучение искусственного интеллекта. При работе алгоритма либо происходит копирование существующих деталей в пустые зоны, либо создается совершенно новое изображение, которое заполняет отсутствующую часть изображения. Например на изображениях лиц алгоритму нужно воссоздать недостающие части без использования других деталей. Результаты довольно реалистичны, и их можно быстро получить. Вот пара примеров:

Работа алгоритма PEN-Net по восстановлению фотографии лица

Работа алгоритма PEN-Net по восстановлению фотографии с пейзажем

Работа алгоритма PEN-Net по восстановлению фотографии с кружевами

Работа алгоритма PEN-Net по восстановлению фотографии дома

По словам исследователей, это не первый случай использования технологии «inpaingting». Однако данная система дает более точные результаты, чем более ранние методы. Ведущий разработчик проекта Янхонг Цзен рассказал Digital Trends, что их модель сохраняет текстурную и структурную согласованность изображения. «Мы рады видеть, что наша модель способна генерировать более четкие текстуры и более правильные структуры, чем предыдущие работы», — добавил он.

На основе алгоритма Pyramid-context Encoder Network можно создать много приложений, которые, как можно понять, в основном будут фокусироваться на обработке изображений. Цзен подтвердил это, заявив, что команда будет работать над применением этой технологии в программах для редактирования изображений. Этот алгоритм может быть особенно полезен при удалении объектов с изображения и восстановлении старых фотографий.

Полный текст о Pyramid-context Encoder Network доступен на Arxiv.

Отправить комментарий

Фотоблог 365 является участником программы Amazon Services LLC Associates Program, это партнерская программа предназначенная для заработка средств с помощью рекламных ссылок и баннеров, которые размещаются на сайте fotoblog365.com. Сайт зарабатывает если пользователь купит что-нибудь перейдя по ссылке на товар. Для пользователя цена товара остается прежней.

Fotoblog 365 is a participant in the Amazon Services LLC Associates Program, an affiliate advertising program designed to provide a means for sites to earn advertising fees by advertising and linking to fotoblog365.com.

Fotoblog 365 ist Teilnehmer des Partnerprogramms von Amazon DE, das zurBereitstellungeines Mediums für Websites konzipiertwurde, mittelsdessendurch die Platzierung von Werbeanzeigen und Links zu fotoblog365.com.