Нейросеть научилась анимировать неподвижные фото

Ученые из Массачусетского технологического института разработали алгоритм глубокого изучения, который способен создавать свои собственные видео. О своем изобретении они расскажут на следующей неделе на Конференции о нейросетевой системе обработки информации.

В ходе разработки исследователи дали нейросети просмотреть два миллиона видео. На видео были запечатлены обычные моменты из жизни людей, чтобы алгоритм понял, как люди взаимодействуют между собой. Видео не были специально подготовлены учеными, поэтому в них не было «подсказок» для алгоритма.

После просмотра алгоритму предлагалось неподвижное фото, на котором был изображен что-то делающий человек. Алгоритм, основываясь на полученных данных, создавал видео, предсказывая таким образом, что может произойти с изображенным человеком далее. Впоследствии другой, созданный той же группой ученых алгоритм должен был различить видеозаписи, созданные нейросетью и реальные. Однако во время эксперимента ученые заметили, что создающая система пытается «перехитрить» другую, искажая, например, задний план.

Чтобы устранить эту проблему, ученые использовали «двухпотоковую архитектуру», которая заставила алгоритм ничего не менять на заднем плане, только на переднем. Так видео получились намного более реалистичными, однако и более короткими, чуть больше секунды.

В заключении эксперимента ученые показали обычным людям реальные видео и видео алгоритма, спросив, какие выглядят наиболее реалистичными. Около 20% выбрали «машинное» видео.

Ученые отмечают, что большой плюс этого алгоритма — способность анимировать уже существующие фото и видео. Сейчас ученые стремятся продолжить исследование, чтобы впоследствии создавать с помощью нейросети мини-фильмы.