Нейросеть научили реалистично восстанавливать изображение из нескольких пикселей

Новая программа корпорации Google может добавить деталей к изображению 8 на 8 пикселей и получить картинку 32 на 32 пикселя. Ее работа основана на глубинном обучении: программа достраивает рисунок на основе большого количества других просмотренных изображений. Описание программы сотрудники американской компании опубликовали на сайте препринтов arXiv.

Нейросети с глубинным обучением могут решать большой спектр задач. Их уже научили, например, анимировать статичные изображения, переносить стиль одной картины на другую, распознавать устную речь и многое другое.

В новой работе программисты использовали две нейросети для решения поставленной задачи. Первая нейросеть условий сопоставляла низкокачественные исходные изображения с картинками высокого разрешения (32 на 32 пикселя) из баз данных. Для этого она резко уменьшала качество и сравнивала цвета пикселей. Затем главная нейросеть делала предположения о деталях, которые должны быть видны на качественном изображении. Конкретно в данной работе были использованы изображения лиц знаменитостей и фотографии спален.

Результат не всегда хорошо соответствовал исходному изображению 32 на 32 пикселя, но тем не менее выглядел правдоподобно. Для проверки степени реалистичности были приглашены добровольцы. Выяснилось, что в 10% случаев добровольцы принимали сгенерированное программой изображение знаменитости за реальное. В случае спален этот показатель был равен 28%.