Нейросети могут создавать звуки тысяч никогда не существовавших инструментов

Разработчики из группы Magenta — подразделения Google — обучили нейросеть комбинировать звучание различных музыкальных инструментов. Полученные тембры похожи на исходные, но не являются одновременным звукоизвлечением из «материнских» инструментов. Почитать подробнее и послушать, как звучат полученные гибриды, можно в блоге компании.

Нейросети давно перестали представлять исключительно академический интерес: их успешно применяют как в индустрии развлечений, так и в анализе больших данных, промышленности и медицине. Теперь программисты научились смешивать звучание тысяч различных музыкальных инструментов — от европейских скрипок до африканских балафонов.

Для работы NSynth необходима обширная база данных звучаний инструментов. Ее дали проанализировать нейросети, которая выявила аудиальные характеристики каждого инструмента. Математически она получает многомерный вектор для каждого инструмента, после чего с ними можно работать как с математическими объектами, то есть складывать и вычитать. Также можно делать их комбинацию с разными весовыми коэффициентами: например, можно получить на 15% укулеле и на 85% орган.

Создатели надеются, что их творение найдет применение в среде профессиональных музыкантов и композиторов, позволяя им создавать новые звучания и средства выражения, поэтому они опубликовали описание разработки и сделали программу доступной для скачивания.