27.10.2018

Реализация нейронной сети для синтеза и редактирования лиц

Опубликована реализации системы машинного обучения на основе генеративно-состязательной нейронной сети (GAN), позволяющей синтезировать и редактировать изображения лиц людей. После обучения сети на коллекции лиц реальных людей, система позволяет синтезировать новые лица или изменять произвольные фотографии на основе задаваемых характеристик, таких как пол, цвет и длина волос, выражение лица, наличие улыбки, форма носа и глаз.

Реализация написана на языке Python с использованием платформы Tensorflow. В качестве основы используется готовая модель pg-GAN на основе коллекции изображений лиц, опубликованная компанией NVIDIA. Для классификации признаков дополнительно задействована свёрточная нейронная сеть, обученная на коллекции CelebA, включающей более 30 тысяч изображений лиц, для каждого из которых определено 40 описательных характеристик (цвет волос, форма лица, разрез глаз и т.п.). Наработки проекта распространяются под лицензией MIT.

Дополнительно можно отметить публикацию компанией DeepMind библиотек graph_nets и TRFL для графовых нейронных сетей и обучения с подкреплением. Библиотеки реализованы поверх платформы Tensorflow и поставляются под лицензией Apache 2.0. В качестве примеров применения графовых нейронных сетей называется поиск кратчайшего пути, сложные сортировки с предсказанием следования элементов и системы предугадывания поведения физических процессов. TRFL позволяет создавать агенты обучения с подкреплением, выбирающие стратегию поведения с учётом опыта предыдущего взаимодействия со средой.

Источники:

1. opennet.ru