Как улучшить голос нейросетью и не потерять окончания
Улучшить голос нейросетью можно на копии записи. Проверь шум и эхо на коротком фрагменте, сравни исходник с обработкой и сохрани разборчивые окончания.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
В записи про мастерскую стало тише. Теперь после «увидимся в шесть» слышно что-то среднее между «шесть» и «ше». В плеере обработанный отрывок сначала кажется приятнее, потому что пропал гул. А время встречи стало понимать труднее. Степень улучшения я в таком случае определяю по последнему слову фразы.
Я Евгений. Чтобы улучшить голос нейросетью, я начинаю с копии небольшой записи. На слух отмечаю, что мешает разобрать слова, и оставляю участок, где слышны и речь, и фон. Для примера представим голосовое вступление для выставки. Речь записали в комнате, где работает вентилятор, а у дальней стены заметно отражение звука. Исправить эти два признака удобнее после раздельной проверки.
Сначала услышь, что портит запись
На моей пробной дорожке фраза заканчивается временем встречи. После неё есть короткая тишина. В этой паузе слышно ровное шуршание вентилятора, а последний звук слова может оставлять короткий затихающий след. По одному месту проще понять, что слышится постоянно, а что появляется вслед за голосом.
Перед обработкой отмечаю три места:
Начало речи. Хватает ли первого слога, чтобы понять, о чём речь.
Слово с окончанием. Здесь это «шесть». Согласные в конце легко теряются рядом с шумом.
Пауза после фразы. Слышно ли постоянное шуршание, остаток предыдущего звука или оба сразу.
Если на записи уже отсутствует половина слова, я помечаю это для нового дубля. Программа может изменить качество того, что осталось. Пословно восстановить то, чего микрофон не записал, я ей не поручаю. Для собственного голоса короткая перезапись часто занимает меньше времени, чем попытка спасти конец фразы.
Если выключить вентилятор можно, запишу на пробу ту же строку снова с того же места. Это поможет понять, сколько проблемы там давал гул. Если при выключенном вентиляторе за голосом всё ещё идёт длинный хвост, на следующем дубле подойду ближе к микрофону. Перед большой записью этой маленькой проверки достаточно, чтобы заметить разницу в слышимости.
Если на пробе слышен короткий стук ровно во время слова, оставлю отметку прямо над этим местом. Такой стук легко пропустить в паузе, потому что его там уже нет. Важно послушать само слово и соседние согласные. На новой записи отодвину чашку или любой предмет, который мог задеть стол. А ещё запишу несколько секунд обычного фона после реплики, чтобы сравнить тишину отдельно от речи.
Сравни исходник с одной обработанной копией
В отдельном инструменте Adobe Podcast есть Enhance Speech. Adobe описывает его как обработку записанной речи с уменьшением шума и эха. Вариант с регулировкой силы обработки зависит от плана. На бесплатном плане в таблице возможностей такая регулировка не указана. Для первой пробы можно обработать короткий отрывок и сравнить его с исходником, если сервис доступен. Справка Adobe об улучшении речи · Возможности планов Adobe Podcast
Вариант · Где слушаю · Что решаю после пробы
Исходная запись — Первое слово, время встречи и пауза — Записываю, что уже легко понять
Автоматическая обработка — Те же три места в том же порядке — Сохранились ли согласные, тише ли постоянный гул
Более мягкая обработка, если доступна — Окончание и место сразу после него — Осталась ли речь ясной при небольшом фоне
Новый дубль при необходимости — Первая фраза и конец слова — Был ли дефект уже в исходной записи
Собираю для прослушивания две короткие дорожки с одной и той же фразой. В редакторе подравниваю уровни на слух и ставлю их подряд. У более громкой версии иногда всё кажется яснее, пока не убавишь её. Теперь можно выбрать по тому, какой слог слышно уверенно, не пользуясь текстом.
Для пробы вырезаю копию, где есть несколько секунд до и после ключевой фразы. В Enhance Speech загружаю этот файл, прослушиваю результат и сохраняю обработанную копию отдельно. В названиях оставлю одинаковый номер фрагмента. Так легче найти его на исходной дорожке. Если в бесплатном режиме единственный вариант звучит слишком резко, проверю другой дубль с более близкого расстояния к микрофону.
На готовой дорожке я проверю ещё середину длинной строки. В пробе могли хорошо остаться и начало, и конец, а тихое слово между ними вдруг становится неразличимым. Контрольный фрагмент стоит взять из самой важной реплики, а не из первой попавшейся минуты. Для выставочного объявления такой строкой будет время встречи.
При монтаже одного исправленного куска вместе с соседними репликами я проверяю и стык. Когда хвост слова внезапно исчезает только на отредактированном участке, комната на мгновение как будто меняется. Тогда попробую обработать соседнюю фразу с той же настройкой или сохраню исходную пару целиком, если она хорошо понятна.
Оставь пометки до финального прослушивания
Я могу использовать LibraChat, чтобы привести текст реплики и мои слуховые заметки к короткому плану проверки. Попробуй начать с нескольких строк. Если работаешь с текстовым файлом сценария, проверь ограничения на вложения. Сам звук в этом процессе меняет отдельный аудиоинструмент. Если в проекте вообще ещё нет записи, для подготовки новой пригодится статья об озвучке текста.
У меня одна реплика о времени встречи. В исходной записи слышен вентилятор. После обработки тише пауза, но хуже слышен конец слова «шесть». Сделай короткий лист проверки для сравнения двух файлов. Укажи, какую часть фразы послушать первой, как проверить время без подсказки из текста и в каком случае лучше перезаписать одно предложение.
Хорошая проверка ещё может выявить постороннее слово в фоне. Если фоновый разговор накладывается на речь, я попрошу слушателя пересказать именно нужную реплику. Когда он запомнил слова из соседнего разговора, одной тишины между фразами оказалось недостаточно. Для нового дубля мне будет проще дождаться короткой паузы в комнате.
Сохрани тот дубль, по которому понятна фраза
Послушай один раз без сценария и запиши услышанное время.
Сравни паузу в двух версиях при одинаковой громкости.
Если тишина стала чище, а слово потерялось, проверь более мягкую настройку при её наличии или запиши фразу ещё раз.
Возьми из своей записи одно предложение с точным числом или именем. Проверь, удалось ли узнать его без подсказки после обработки. По этой детали можно выбрать короткий дубль, прежде чем тратить время на всю дорожку.