Нейросеть для голоса без ограничений: озвучка в Piper
Как устроена озвучка нейросетью без облачной квоты. Запускаем Piper локально, делим длинный текст на части и проверяем голос перед экспортом отдельных файлов.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
В черновом аудиогиде десять остановок. Пока я перечитывал его, одну скамью перенесли, а начало маршрута пришлось объяснить заново. Если весь голос сохранён одним файлом, исправление двух фраз превращается в поиск места для склейки. Запрос «нейросеть для голоса без ограничений» я здесь понимаю как возможность заново начитать любой фрагмент без облачной квоты на генерацию. Для этого подойдёт установленный на компьютере синтезатор с готовым русским голосом. Остальные ограничения вполне заметны: длина и понятность одной части, время обработки, права на выбранную голосовую модель.
Для общего описания задачи сначала полезно решить, каким должен быть один выходной файл. У моего гида остановки пронумерованы и могут быть заменены отдельно. Тогда я подготовлю десять коротких текстов и отправлю каждый в синтез по очереди. Если просто нужно услышать, хорошо ли звучит один абзац, рабочий путь может быть короче. Другие сценарии есть в разборе озвучки текста голосом.
Как проверить русский голос в Piper
Piper — локальный синтезатор речи. Его движок и модель голоса устанавливаются отдельно. У проекта есть интерфейс командной строки, а в каталоге есть несколько моделей для русского. Интернет понадобится для получения программы и модели. Когда нужные файлы скачаны, пробный синтез работает на компьютере. В справке предупреждают, что интерфейс командной строки при каждом запуске заново загружает голосовую модель. Для длинной очереди это стоит учитывать. Документация PiperРусские голоса для Piper
В папке для пробы я расположу рядом установленные голосовые файлы и один короткий текст. Те же имена входного файла и голоса будут видны в терминале. Если Python в системе запускается командой python, пример для отдельной папки выглядит так:
В stop-01.txt я сохраню текст в UTF-8. Возьму пару вымышленных фраз о входе в парк. Сначала надо проверить одну запись. При выгрузке WAV можно прослушать его тем же проигрывателем, в котором потом будет звучать весь маршрут. Последняя команда использует модель из текущей папки. Если она находится в другом месте, в справке предусмотрен параметр для папки голосовых данных. Команды Piper и параметры входного файла
Перед дорожкой есть широкая площадка. Начни осмотр у первого входа и поверни налево после деревянных ворот. До места остановки примерно три минуты пешком.
Как выбрать дорожку для длинного чтения
Я послушаю одну и ту же фразу в обычных наушниках и из динамика телефона. Синтез может разборчиво передать все слова, но съесть смысл на быстрой смене фраз. В гиде это легко услышать на повороте: «после деревянных ворот» должно относиться к следующему действию. Если слова слились, проведу границу по смыслу. Новое предложение «За деревянными воротами поверни налево» задаёт действие яснее.
В пробе проверю несколько вещей перед выпуском полной очереди.
Число минут звучит как часть предложения.
Название остановки можно расслышать с первого раза.
Последнее предложение не обрывается на согласной.
Голос подходит для задачи по условиям карточки модели.
Как разложить длинную озвучку по файлам
У каждого файла будет номер остановки и короткая версия. При исправлении третьего объявления запишу WAV заново с другим номером версии. Тогда можно сравнить два аудио и подставить новое, не повреждая старое. Я не буду копировать название из длинного предложения. Достаточно одинаковой основы для текста и звука, чтобы искать их вместе. Для короткого гида можно держать обычную таблицу с путём к тексту, текущим WAV и датой проверки.
Что поменялось · Какую часть повторить
Переехал вход на маршруте — Записать заново объявление о входе и проверить переход от предыдущего
В имени улицы слышится другое слово — Развернуть название в понятную фразу и перегнать вступление к этой остановке
Между главами разные паузы — Сверить длину и громкость на стыке в проигрывателе
Заменился голос модели — Проверить новую пробу на двух соседних остановках перед всей очередью
Для каждой группы объявлений я сохраню одинаковый голос, но буду следить за местными названиями. Слово, которое человек слышит редко, лучше сначала запустить в полной фразе. Если название сбивает на первом прослушивании, добавлю узнаваемый ориентир и перенесу спорное слово подальше от начала. Например, вместо сокращения «наб. у ворот» напишу полностью «набережная возле деревянных ворот». Сам исходный текст сохраню рядом. Так человек, который вычитывает подписи гида, знает, где произношение поменялось ради слуха.
В первый прогон запущу две соседние остановки, между которыми ничего не меняется, и прослушаю переход без паузы проигрывателя. Если окончания у двух файлов разной громкости, сравню их в редакторе и поправлю уровень на стыке. Голосовую модель менять для одной постановки паузы не стоит. Смена звучания внутри знакомого маршрута отвлекает сильнее, чем лишняя секунда пустого места.
Короткие файлы удобны и для подсчёта времени. Если озвучка главы весит больше ожидаемого, я сначала проверю, сколько секунд в ней тишины. Остальную часть проще сохранить в том формате, который принимает аудиоредактор. Установленному движку понадобятся ресурсы компьютера, а накопленные WAV занимают место. Я проверю обработку на двух коротких файлах, прежде чем ставить в очередь весь текст, а слушать начну с варианта, который действительно пойдёт в монтаж.
Какие условия проверить у готового голоса
Локальный синтез позволяет работать без очереди облачного сервиса, когда модель уже лежит на диске. У движка есть своя лицензия, у голоса и материалов обучения могут быть свои условия. Для примера с ru_RU-irina-medium карточка называет язык и источник датасета, а лицензию самого датасета указывает как неизвестную. Если аудиогид будет использоваться коммерчески, мне понадобится голос с ясно описанными условиями для этой задачи. Карточка русской модели Irina Medium
Сохрани одну пробу и исходный текст рядом.
Прослушай название и число в начале и после паузы.
Сделай второй файл под соседнюю остановку, чтобы проверить переход.
Перед общей выгрузкой отметь, где будут использоваться записи и что разрешает выбранная модель.
Текст для пробного чтения можно сократить в LibraChat, дав ему вымышленное объявление с парой сложных чисел. Доступные функции текстовой работы указаны в описании плана. Попробуй прямо сейчас вслух прочесть начало двух своих объявлений. Если на границе строки теряется название, перепиши только этот фрагмент и проверь его по отдельному WAV.