Stable Audio 2.0 новая нейросеть для генерации музыки

Stability AI представила новую версию Stable Audio с расширенным набором функций для создания звуковых клипов. Новая модель позволяет генерировать аудиофайлы длиной до 3 минут, в отличие от предыдущей версии, которая ограничивалась 90 секундами. Stable Audio 2.0 также предлагает больше пользовательских настроек и способна использовать звуковые клипы в качестве референса для создания более точных результатов.

Модель может создавать структурированные композиции с вступлением, развитием и концовкой, а также звуковые эффекты. Она основана на латентной диффузионной модели, которая уменьшает объем информации, необходимой для обучения, и делает процесс генерации более эффективным.

Stability AI также внедрила новую нейронную сеть на основе архитектуры Transformer, разработанной Google, для более точного интерпретации данных.

Stable Audio 2.0 доступен бесплатно для пользователей, а API позволяет интегрировать модель в другие приложения.

Кроме того, компания Adobe представила Project Music GenAI Control, а в феврале Stability AI анонсировала Stable Diffusion третьего поколения.