Нейросеть научили менять время дня на изображении

Исследователи из Центра искусственного интеллекта Samsung в Москве представили нейронную сеть, способную менять день на ночь практически на любом изображении. Лучше всего, однако, это получается в случае пейзажей. Свою работу авторы представят на конференции по компьютерному зрению CVPR 2020, с препринтом доклада можно ознакомиться на arXiv.org.

Системы распознавания объектов на изображениях — давно уже не новшество. Современные нейросети умеют даже добавлять не существовавшие на картинках ранее объекты так, что их не отличить от реальности. Однако имитировать естественные уровни освещенности при смене ночи и дня нейросетям пока удается недостаточно точно.

Для решения этой задачи группа российских ученых разработала новый алгоритм под названием HiDT. Одна из частей алгоритма, получившая название «Сеть перевода», может обрабатывать загружаемый контент с использованием определенного стиля. Для начала программа делит картинку на собственно изображение и его стиль, после чего она может изменять его и затем объединять обратно с изображением. Это позволяет получать различные уровни освещенности для каждого пикселя на изображении, тем самым моделируя реальную смену дня и ночи.

Другая часть программы, называемая «Сетью улучшения», способна разделить изображение на несколько «субизображений», которые затем индивидуально обрабатываются программой, вносящей в них необходимые изменения. Затем они объединяются с помощью ранее обученной нейросети в одну картинку в высоком разрешении.

Также программа может извлечь стили из двух одинаковых пейзажей, сделанных при разной освещенности, и провести интерполяцию — математическую процедуру, заключающуюся в нахождении промежуточных значений какой-либо функции по ее конечным точкам.

Использование интерполяции позволяет восстановить все уровни освещенности, например между полуднем и полуночью. Таким образом можно получить целый спектр стилей и плавно изменять не только время дня и ночи, но и количество облаков и другие погодные условия на изображении.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.