Нейросеть обучили не забывать полученные навыки

Разработчики из Google «научили» нейросеть DeepMind последовательно обучаться и решать несколько задач, не забывая при этом навыки, необходимые для предыдущих задач. Подобный результат стал возможен благодаря знаниям о нейробиологических особенностях запоминания у животных. Статья опубликована в журнале Proceedings of the National Academy of Sciences.

Стандартные нейросети можно обучить хорошо справляться с отдельной задачей, но при смене деятельности она не сможет использовать полученные ранее навыки, потому что новые знания будут записываться поверх старых. Эту проблему необходимо преодолеть для построения так называемого общего искусственного интеллекта, который будет сравним по способностям с человеческим. «Если мы хотим получить более интеллектуальные и более полезные программы, то они должны быть способны обучаться последовательно», — говорит Джеймс Киркпатрик из команды DeepMind.

Для создания новой программы разработчики воспользовались полученными нейробиологами знаниями, которые показывают, что во время обучения в мозгу животных сохраняются наиболее важные для определенных навыков связи. Подобным образом работает и новая нейросеть: перед переходом к следующему заданию программа определяет наиболее важные связи для предыдущего и делает их менее изменчивыми. «Если сеть сможет использовать выученное ранее, то она воспользуется этим», — поясняет Киркпатрик.

Программу обучали играть в десять классических компьютерных игр компании Atari в случайном порядке. После обучения каждой игре в течение нескольких дней сеть могла играть на уровне человека в семь из десяти игр. Стандартная нейросеть в таких условиях вряд ли бы могла сравниться с человеком даже в одной. Остается неясным степень использования полученных ранее знаний: программа научилась играть в разные игры, но ни в одной не достигла уровня, которого добивается тренирующаяся только в одном виде программа. «Мы продемонстрировали, что она способна обучаться последовательно, но мы не показали, что она лучше учится из-за этого», — подытожил Киркпатрик.