Как выбрать нейросеть-переводчик песен, если нужен готовый аудиофайл. Разбираем перевод своего трека в Soundverse, проверку текста и посадку вокала.
Денис
Продуктовый аналитик, ИИ-практик
6 мин чтения
Открываешь перевод и видишь два абзаца. Смысл своих слов ты уже знаешь, а нужен был файл, в котором припев спет на другом языке. Нейросеть-переводчик песен стоит выбирать по выходу. Если есть только новый текст, его ещё предстоит записать на музыку. Для проверки готового исполнения я сначала выбираю инструмент с выдачей аудио, а потом беру один короткий куплет и проверяю, что с ним вышло.
В примере автор сам записал короткую песню на английском и хочет услышать её на испанском. В первой строке герой просит оставить лампу у двери. Следом обещает вернуться до снега. Названия, записи и результаты у нас условные. Важно, чтобы новое исполнение сохранило действие и время, а само обращение поместилось в музыкальную фразу.
Как выбрать нейросеть-переводчик песен по результату
Soundverse описывает два инструмента с разной выдачей. Translate Lyrics принимает текст и возвращает переведённые строки. У него есть настройка подбора числа слогов и сохранение тегов секций. Song Dubbing в Agent One работает с загруженной песней и выдаёт музыкальную версию на другом языке. В примерах разработчика есть испанская озвучка, а доступность языка для своего файла проверяют в самой задаче. Translate Lyrics · Описание музыкального дубляжа Agent One.
Что нужно получить · Что дать инструменту · Что открыть после работы
Перевод слов для чтения или субтитров — Текст своего куплета — Русский или другой выбранный текст между прежними границами строк
Певческий черновик для собственной записи — Текст с секциями и заданием по слогам — Перевод, который ты попробуешь спеть под мелодию
Новый аудиофайл на другом языке — Собственную запись и целевой язык — Версию с новым вокалом, которую можно прослушать и проверить
Если нужен третий выход, проверь, что команда относится к загруженной песне. В описании Agent One разработчик предлагает загрузить собственный трек и попросить локализацию на второй язык. Область задачи можно обозначить явно. «Верни аудиоверсию песни на испанском». Если нужна сверка произнесённых слов, сохрани рядом текст исходника и черновик перевода. Подготовить смысловой подстрочник можно и по инструкции как перевести текст.
Для команды, которая работает через API, Soundverse отдельно описывает Song Translation. В этой документации перечислены транскрипция, перевод, выделение дорожек, новый вокал и сборка результата. Предельный размер исходника в Enterprise API указан как 60 МиБ. Для Agent One этот предел нужно смотреть отдельно. Расчёт для Enterprise API зависит от выполняемых стадий. Публичное описание не даёт общей фиксированной суммы за песню, поэтому настройку расходов проверяют в своём аккаунте до запуска полного трека. Документация Song Translation.
Что проверить на первом куплете
Для начала я готовлю две короткие исходные строки. «Leave one light on by the door. I will be home before the snow». Это придуманный для примера текст. В первой строке нужно сохранить просьбу оставить одну лампу включённой и место у двери. Во второй есть обещание и условный момент времени. Если перевод сообщает «вернусь после снега», исправление надо внести до оценки красивого звучания.
Прослушай оригинал и новую запись по одному разу. Затем перепроверь три места.
Разбери первую спетую строку на слух. Слова о лампе и двери должны звучать отчётливо, даже если их число изменилось.
Найди момент, где кончается просьба и звучит обещание. Проверь, не пересекла ли первая фраза начало второй.
Послушай ещё конец куплета. Уточни, замечает ли слушатель слово, которое задаёт время возвращения.
Равное число слогов помогает подобрать длину фразы. Длинная нота при этом может попасть на безударный слог. Если такое происходит, подчеркни слово, которое требует музыкального акцента, и предложи другую формулировку с тем же смыслом. Например, испанское «junto a la puerta» лучше оценить на конкретной фразе, чем по одному числу в строке. Певец или знакомый, который владеет языком, сможет сказать, какие слова воспринимает без подстрочника.
Я сохраняю первый удачный отрывок и называю в заметке причину. Если звучит ясная просьба и слышно, когда герой вернётся, эти детали нужно защитить в следующей версии. Затем можно сравнить только вход вокала и баланс с инструментами. Так замечание о музыке не превращается в бесконечную правку текста.
При проверке баланса начни с тихого прослушивания на обычном устройстве. Если окончания слов теряются в музыке, отметь, где это происходит. На слух можно отдельно проверить, начинается ли строка вместе с мелодией и слышно ли последнее слово. Слушатель, который говорит на испанском, поможет разобрать сам текст. Знакомый с оригиналом музыкант подскажет, где сбился ритм. Если один человек может выполнить обе проверки, всё равно лучше сделать два коротких прохода.
Сохраняю старый и новый файлы под разными именами. Для повторного прослушивания записываю одну временную отметку на файл, потому что начало фразы может немного сместиться. Если вокал звучит уже после нужной доли, отрезок пригодится для обсуждения правки с человеком, который будет делать окончательное сведение.
Как подготовить требования к аудиоверсии
В LibraChat можно собрать письменное задание на основе своих строк. Условия работы с отдельным документом описаны в планах LibraChat. Мне достаточно короткого фрагмента с пометками, что обязательно сохранить. Сам музыкальный файл после локализации открывается в Soundverse.
Перед использованием своего файла я записываю три требования.
Целевой язык, версия исходной записи и нужный результат в аудио.
Смысл, который должен остаться в первой фразе, даже если поменяется порядок слов.
Место, где вступает новый вокал, и слово, по которому можно проверить его посадку.
Из моих двух авторских строк сделай короткое задание для локализации песни на испанский. Запиши, какое действие остаётся в первой строке и какое время во второй. Предложи вопрос для слушателя, который поможет проверить эти детали по новому аудио. Отдельно отметь, где нужно проверить музыкальное ударение.
Прямо сейчас выбери один свой куплет и сформулируй в LibraChat два условия, которые нельзя потерять. Когда откроешь пробную аудиоверсию, начни со строки с просьбой. Если её можно понять без исходного текста и она заканчивается до следующей фразы, у тебя есть проверенный отрывок для продолжения.