Что такое нейросеть песни: как обучение на звуке связано с новым треком, почему готовые слова не задают мелодию и какие решения остаются за человеком.
Денис
Продакт LibraChat
7 мин чтения
В моей заметке было написано семь слов: «Песня про дорогу домой, чтобы сильно трогала». Я попробовал представить готовую запись и не смог. Герой возвращается к тому, кто его ждёт, или едет в пустой дом после разрыва? Объясняя, что такое нейросеть песни, полезно пройти путь именно этой заметки. Музыкальная генеративная система получает условия и создаёт звучание. Но семь слов оставляют ей почти все решения: смысл, подачу, инструменты и развитие.
На выходе такого генератора может быть музыкальное аудио, а в поддерживаемом режиме — вокал и слова. Это уже не текстовый документ. Появляются высота и длительность звуков, тембр, паузы, ритм. Поэтому сначала я разложу одну задумку на слышимые признаки, затем покажу, почему исправление строки после генерации затрагивает и запись.
Что такое нейросеть песни на входе: две разные дороги
Я сохранил дорогу, дом и окно, но дописал два несовместимых события. В первом человек после долгой поездки узнаёт свет в своём окне. Его ждут. Во втором он едет знакомым маршрутом, уже зная, что дом пуст. Одни декорации не делают эти песни одинаковыми.
Для первой версии я записал такие условия:
Герой возвращается домой после долгой поездки и узнаёт свет в своём окне. Он рад, но не празднует победу. Спокойное пение, негромкая акустическая гитара; в припеве чуть больше энергии, чем в куплете. Без торжественного хора.
Для второй поменял событие и движение музыки:
Герой едет знакомой дорогой, зная, что дома его уже никто не ждёт. Главное — постепенно принять эту перемену. Тихая вокальная подача, редкие аккорды фортепиано, небольшие паузы между фразами. Финал спокойный, без внезапного радостного подъёма.
Здесь нет полученных треков. Это два написанных задания, на которых видно устройство входа. Я не считаю гитару обязательным знаком радости, а фортепиано — грусти. Инструменты выбраны для этих замыслов; в другой аранжировке их роль изменится.
Изменение к финалу — Припев немного шире куплета — Энергия не растёт резко
Эта таблица не является партитурой. Она отделяет решения, которые я уже принял, от тех, что оставил генератору. Вместо слова «трогательно» появились признаки, которые можно услышать и обсудить.
До запроса: звук связывают с текстовыми признаками
Пользователь не обучает систему своим сообщением. Обучение происходит раньше, а запрос задаёт условия для нового результата. Конкретный и открыто описанный пример — карточка Lyria 3 от Google DeepMind. В ней указано обучение на аудиоданных с текстовыми описаниями разной подробности; входом модели служит текст, выходом — музыкальное аудио и текст слов.
Это не универсальная схема каждой музыкальной нейросети и не описание внутреннего устройства LibraChat. Пример нужен для одной связи: словесные признаки можно сопоставлять особенностям звука. Поэтому в официальном руководстве по запросам Lyria предлагают уточнять темп, динамику и инструменты, а для вокала — манеру исполнения и тему слов.
Я переношу из этого не название чужой функции, а дисциплину постановки задачи. В заметке о дороге у меня получилось четыре группы условий:
что произошло с героем;
как воспринимается голос;
какие инструменты слышны рядом с ним;
куда меняется энергия от куплета к финалу.
Генерация при этом не равна поиску по каталогу. Запрос «найди песню из фильма» означает, что запись уже существует и её нужно распознать или отыскать. Просьба создать спокойную песню о возвращении задаёт условия для нового варианта. Различие задач не доказывает абсолютную непохожесть результата на всю существующую музыку; оно объясняет, почему название исполнителя и описание замысла ведут к разным действиям.
Что такое нейросеть песни на выходе: запись, а не документ
В музыкальном сервисе слова могут стать частью исполняемой записи. Официальное описание генератора Suno прямо разделяет песню с вокалом и инструментальный вариант. Для песни с голосом система создаёт исполнение слов вместе с аранжировкой; при выборе инструментального режима ведущего вокала нет.
Отсюда следует важное ограничение моей исходной заметки. Фраза «дорога домой» ещё не определяет, как долго будет звучать слово «домой», на какой высоте окажется последний слог и где певец сделает вдох. Даже готовый куплет не задаёт единственную мелодию. Одну строку можно произнести быстро, растянуть или разделить паузой.
Я проверял бы итог не одной общей реакцией «нравится», а по слоям:
Сначала слушаю, понятна ли история без текста на экране.
Затем отдельно слежу за разборчивостью обязательных слов.
После этого отмечаю, совпадают ли голос и развитие музыки с событием.
В конце решаю, что именно менять: смысл, исполнение или сопровождение.
Так приятный припев не заслонит строку, которая переворачивает историю. Возможна и обратная ситуация: слова точные, но радостный подъём в конце разрушает задуманный спокойный финал.
После прослушивания слова уже связаны со временем
В текстовом файле можно заменить слово и сразу увидеть новую строку. В аудио оно занимает длительность, связано с соседними слогами и мелодией. Изменение текста и изменение уже исполненной записи поэтому не одно действие.
Это видно в справке конкретных сервисов. В редакторе песни Suno изменение слов в выбранной области сопровождается новой генерацией аудио этого участка. В Udio собственные слова вводятся отдельно в режиме Custom. Эти интерфейсы могут меняться и не доказывают наличие тех же кнопок в другом продукте. Они показывают границу между строкой до исполнения и звучащим фрагментом после него.
Если в песне о дороге неразборчиво место назначения, команда «сделай лучше» оставляет открытыми слишком многие переменные. Я бы зафиксировал услышанное: «В последней строке куплета слово “домой” теряется; сохрани спокойную подачу и общий смысл, но сделай эту строку разборчивее». Дальнейший способ зависит от выбранного музыкального сервиса: где-то создаётся новый участок, где-то новый вариант целиком.
Три вопроса удерживают проверку в рамках задачи:
слышу ли я ключевую фразу без подсказки;
соответствует ли характер исполнения событию;
понятно ли, где музыкальная мысль меняется и заканчивается?
Ответы оценивают пригодность результата. Они не устанавливают происхождение чужого релиза и не заменяют сведения об авторе, лицензии или правилах выбранного сервиса.
Возвращаюсь к семи словам с отдельным заданием для чата
LibraChat помогает подготовить содержание и формулировки, но обычный текстовый диалог не выдаёт спетую запись. Голосовой ввод также отправляет в чат распознанный текст, а не создаёт вокал. Для моей заметки полезно сначала развести смысл и желаемое звучание. Такой запрос можно отправить в LibraChat:
Помоги уточнить замысел песни о возвращении домой. Сначала задай мне два вопроса: кто возвращается и что изменилось дома. После ответа составь два коротких блока: содержание слов и описание желаемого звучания для музыкального сервиса. Не придумывай события за меня и замени общие слова вроде «трогательно» наблюдаемыми признаками голоса, инструментов и развития.
Это предлагаемый запрос, а не сохранённый ответ и не тест музыкальной генерации. Для работы именно с текстом песни есть отдельный разбор куплетов, припева и проверки вслух. Доступные текстовые возможности сверяются на странице тарифов; точные лимиты я здесь не обещаю.
Мои семь слов теперь превращаются не в один туманный запрос, а в проверяемое решение: человека ждут, голос спокойный, гитара негромкая, припев чуть шире куплета. Возьми собственную идею и убери из неё одно общее слово — «красиво», «мощно» или «душевно». Запиши вместо него слышимую разницу и попробуй уточнить формулировку в чате. Так у будущей записи появится направление ещё до первой ноты.
