Мы уже видели алгоритмы, которые могут улучшить изображения с низким разрешением. Исследователи из Оксфордского университета и центра Сколково разработали новый подход к восстановлению поврежденных или низкокачественных изображений. Вместо того, чтобы тренировать нейросеть с помощью тысяч фотографий, исследователи заставили работать свою систему Deep Image Prior с оригинальным изображением. И эта система, без какого-либо предварительного обучения превращает пикселизированную или поврежденную фотографию в снимок с высоким разрешением. О новом подходе к работе с изображениями рассказал сайт DIY Photography.
Дмитрий Ульянов, который является одним из соавторов исследования объяснил, что «сеть заполняет поврежденные регионы текстурами из соседних». Вместо использования данных из других наборов, алгоритм перерисовывает размытое или поврежденное изображение пока оно не станет выглядеть правильно. Как утверждают авторы Interesting Engineering, некоторые изображения оказываются лучше исходного.
Несмотря на хорошие результаты, Дмитрий Ульянов признает, что в попытках перерисовки все еще бывают сбои:
«Очевидной проблемой стало все, что связано семантической перерисовкой, например, в регионе, где по смыслу должен быть глаз наш метод не сработает, так как он ничего не знает о семантике лица и заполняет поврежденный регион определенными текстурами».
Исследователи отмечают некоторые из возможных правовых и этических приложений этого метода. Он может использоваться для фильтрации шума или снимков с низким разрешением, которые могут показаться полезными для фотографов. Deep Image Prior можно применять для восстановления старых и поврежденных фотографий, которые, вероятно, будут полезны музеям и архивам.
Но у этой нейросети есть и недостатки. Кроме восстановления поврежденных, зернистых, размытых или иначе поврежденных фотографий, Deep Image Prior также может удалить текст, размещенный поверх изображения. Это может вызвать проблемы с авторским правом, учитывая, что алгоритм позволит сделать незаконное использование изображение проще, чем когда-либо.
Есть и другой вопрос. Может ли подобный тип приложений оставить без работы людей, которые занимаются реставрацией фотографий? Разумеется, человеческий мозг и умение профессионала все еще лучше справляется с задачей реставрации, чем компьютеры, и, безусловно, сегодня эти специалисты без работы не останутся. Но в какой-то момент в будущем, когда алгоритмы будут усовершенствованы, работа фотореставратора может стать намного менее значимой и востребованной.
Нужно смотреть на подобные открытия с разных точек зрения. Несомненно, подобные технологии могут быть очень полезны, но так же — и вредны, если попадут не в те руки.
Больше примеров работы алгоритма можно увидеть на этой странице.
Отправить комментарий