30.12.2017

Использование нейронной сети для восстановления повреждённых изображений

Группа исследователей из Сколковского института науки и технологий, компании Yandex и Оксфордского университета опубликовала свои наработки в области применения свёрточных нейронных сетей для восстановления утерянных участков повреждённых изображений, устранения артефактов и повышения качества фотографий с низким разрешением. Реализация алгоритма, модель нейронной сети, созданная на базе библиотеки Torch, а также сопутствующий инструментарий, доступны под лицензией Apache 2.0.

Предложенный алгоритм, который получил название Deep Image Prior, комбинирует два наиболее популярных метода восстановления изображений - использование машинного обучения и алгоритмы на основе вероятного повторения содержимого соседних областей. В отличие от других алгоритмов на основе методов машинного обучения, Deep Image Prior для определения оптимального пути реконструкции изображения используются данные непосредственно из обрабатываемого изображения, а не данные накопленные в процессе машинного обучения нейронной сети на большой коллекции примеров изображений. Нейронная сеть используется в качестве генератора, который изначально инициализируется случайными данными, которые затем постепенно корректируются на основе выделенной из обрабатываемого изображения статистической информации.

Из других алгоритмов, использующих для восстановления изображений свёрточные нейронные сети, отмечаются проекты pixelNN (код) и EnhanceNet-PAT (код). PixelNN пытается воссоздать утраченные детали изображения, используя нейронную сеть, предварительно обученную на большой коллекции изображений, синтезирующую недостающие элементы на основе сопоставления оптимальных совпадений с ранее обработанными изображениями.

Алгоритм EnhanceNet-PAT специализируется на выполнения операций повышения разрешения изображений и улучшения качества старых фотографий, например, позволяя приводить старые фильмы к разрешению 4K или улучшать качество изображений с web-камер. В случае EnhanceNet-PAT нейронная сеть обучается на основе большой коллекции высококачественных текстур. В процессе анализа на изображении выявляются похожие текстуры и для улучшениях их качества используются данные, накопленные в процессе машинного обучения.

Источники:

1. opennet.ru