Команда компьютерных программ впервые обыграла людей в Dota 2

Группа нейросетей впервые смогла победить людей в одну из самых популярных современных многопользовательских игр Dota 2 в командном режиме «пять на пять». Ранее программы уже обыгрывали лучших игроков, но только один на один. Достижение стало возможно благодаря системе коммуникации отдельных ботов. Об этом сообщается в блоге компании-разработчика программ.

Во многих компьютерных играх кроме людей могут играть и компьютеры. Тем не менее, чаще всего они не умеют кооперироваться или делают это очень плохо. В играх, где подобные качества важны, например, в представителях жанра MOBA (Multiplayer Online Battle Arena — «многопользовательское место битвы в режиме онлайн»), к которому относятся такие популярные игры как Dota, League of Legends, Heroes of the Storm или Heroes of Newerth, программы до последнего времени не могли соревноваться с командами людей. В 2017 году компания OpenAI выпустили созданного на основе нейросетей бота, который мог на хорошем уровне сражаться против профессиональных игроков один на один.

Теперь OpenAI представила систему нейросетей, которых обучили играть как самостоятельно, так и в команде. Программы тренируются только на играх с самими собой, не используя противников-людей. Для обучения они задействовали 256 графических процессоров и 128 000 центральных. Это позволяет им в день сыграть такое количество матчей, которое бы у людей заняло 180 лет. Программы обучались при помощи метода обучения с подкреплением, однако непосредственного «общения» между ними нет — вместо этого у них есть общий гиперпараметр «командного духа», который контролирует степень внимания к собственной выгоде по сравнению с командной. «То, что мы увидели, показывает, что координация и взаимодействие могут возникать естественно при соответствующих стимулах», — говорит Грег Брокман, один из создателей OpenAI. Разработчики попробовали заменить одного из ботов на человека. Это тоже сработало: он утверждал, что чувствует хорошую поддержку команды.

На данный момент система нейросетей может работать только с существенными ограничениями: каждая программа играет только за определенного персонажа, у противников одинаковый набор героев, запрещены некоторые предметы и так далее. К августу, когда состоится чемпионат мира по Dota 2 с самым крупным среди всех компьютерных игр призовым фондом — около 40 миллионов долларов, — OpenAI собирается представить группу нейросетей, способную на одном уровне играть с лучшими командами людей. К тому времени число ограничений должно будет сократиться до уменьшенного набора возможных героев. 28 июля должен состояться подготовительный матч против команды профессионалов.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.