Переозвучить видео: нейросеть и новый текст на старых кадрах
Если нужно переозвучить видео, нейросеть может прочитать новый текст. Разложи речь по кадрам, подложи отдельную дорожку и проверь, не потерялись ли звуки действия.
Марина
Контент-маркетолог LibraChat
6 мин чтения
В учебном ролике ладонь прижимает полоску картона и ставит её на стол. В закадровом тексте я называю верхний сгиб, пока зритель ещё смотрит на нижний. Это понятно при пересказе, если помнить весь урок. При первом просмотре рука и слова показывают разные места. Сам материал снят хорошо, поэтому новую съёмку можно отложить. Я бы поменяла последовательность двух коротких фраз и ещё раз послушала, где начинается шорох сгиба.
Если нужно переозвучить видео, нейросеть может прочитать новый текст по частям. Сначала подготовь слова, которые совпадут с действием, затем положи дорожку поверх своих кадров. Для перевода ролика подходит другой процесс, особенно если надо сохранить несколько реплик разных людей. Ниже работаю с одним голосом поверх условного мастер-класса. В кадре только руки и картон. Это удобный случай для замены закадровой речи: совпадение с движением губ здесь не требуется.
Запиши, что уже есть на звуковой дорожке
Я сначала смотрю исходный ролик в наушниках и держу рядом заметку. На одних местах звучит только голос. В других слышны прикосновения к столу, движение бумаги и один сухой щелчок, когда картон складывается. Этот щелчок помогает заметить конец операции. Если просто приглушить всю исходную дорожку, пропадёт и звук, который стоит оставить. Нужны отдельные дорожки либо возможность записать полезный шорох заново. В некоторых местах тишина подходит лучше, чем плохо отделённый фон с остатком старой реплики.
Что нужно исправить · Что взять в работу · Как понять, что пора экспортировать
Длинное объяснение поверх рук — Сокращённый русский текст и те же кадры — Каждая фраза звучит, когда её действие видно
Несколько слов в старой реплике — Новая запись всей короткой реплики с согласованным тембром — Место вставки не выделяется громкостью и длинной паузой
Дубляж на другой язык — Расшифровку и перевод, проверенные по кадрам — Инструкция звучит полностью и не переходит на следующий жест
Ролик с важным щелчком — Исходный эффект отдельно или собственная запись эффекта — Слышно момент сгиба и новые слова над ним
Если говорящий виден лицом, я сначала решаю, нужна ли точная синхронизация. Иногда голос можно поставить на план рук или самой подставки. Так зритель получает крупный вид нужной детали, а длительность новой реплики легче подогнать. Если лицо должно остаться в кадре, проверь совпадение губ отдельно. Новый звук сам по себе ничего не меняет в изображении.
Как разложить новый текст по кадрам
Я беру короткий участок, в котором уже есть начало и результат. Моя заметка для подставки будет такой: «00:06 рука выравнивает картон», «00:09 большой палец показывает верхний сгиб», «00:12 подставку ставят на стол». Если первые слова длинные, до названия верхнего сгиба человек услышит ещё несколько пояснений. Мне удобнее перенести глагол в начало. «Прижми нижний край» звучит, пока рука касается картона. Следующую фразу можно оставить до момента поворота.
Подпиши в заметке, кто говорит и какие слова требуется заменить.
Запиши одно наблюдаемое действие на интервал. Пусть фраза говорит о том, что уже видно.
Сохрани номера или исходное время даже после замены слов. К ним можно вернуться при монтаже.
Сократи мою закадровую речь для ролика о картонной подставке. Используй три момента: 00:06 ладонь прижимает край, 00:09 палец указывает верхний сгиб, 00:12 подставка стоит на столе. Разложи закадровую речь так, чтобы она успела прозвучать до следующего движения руки. Сохрани слова «нижний край» и «верхний сгиб» там, где зрителю показана каждая деталь. Оставь паузу перед тем, как подставку отпускают. Дай три строки текста и время рядом.
В LibraChat я даю три исходных отметки и прошу разложить пояснение по движениям руки. Если будешь разбирать полную расшифровку длинного урока, доступ к текстовым режимам можно проверить в описании плана. Готовую озвучку в этом процессе добавляй в видеоредакторе. Если в исходнике мешают гул или плохие субтитры, сначала посмотри материал о задачах обработки видео и реши, что исправлять отдельно.
Как переозвучить видео и не потерять фон
В справке Microsoft по Clipchamp есть несколько маршрутов: запись своего голоса, импорт существующего аудио и синтез речи из текста. Для синтеза начни с одной короткой реплики и послушай, естественно ли звучит слово «сгиб». Следующий фрагмент добавляй отдельным кусочком, чтобы двигать его по времени. Если исходный голос записан вместе с важным эффектом и чистой версии нет, проверь, помогает ли запись другого собственного щелчка без голоса. Новая дорожка может звучать не так, как комната в исходнике, поэтому сравни их на переходе.
Если цель в переводе, справка ElevenLabs по Dubbing описывает дубляж аудио и видео и сохранение характеристик речи. Слова в новом языке могут занимать больше времени. Важные термины и места начала проверяй на своих кадрах. Для записи с реальным человеком заранее согласуй использование его звука. В учебном фрагменте с одним автором достаточно взять собственную речь или подходящий синтетический голос.
В редакторе оставь исходный звук на отдельной дорожке или сделай копию проекта.
Поставь новые реплики по своим отметкам и проверь, какое движение видно на первом слове каждой.
Приглуши старую речь там, где слышна новая. Отдельно послушай шорох картона на стыках.
На выгруженной версии послушай крупный план сгиба. У щелчка должен остаться короткий хвост звука комнаты без старых слов.
Я дополнительно смотрю короткий участок с выключенными субтитрами, а потом включаю их заново. В первой пробе слышно, насколько голос поддерживает действие. Во второй можно заметить, что слова «верхний сгиб» в титрах появились раньше самого сгиба. Если зритель пользуется одним текстом без аудио, такое смещение тоже мешает. Проверь, что смысл обоих способов просмотра совпадает.
Если есть слышимый скачок в момент смены реплики, сравни полсекунды до неё и полсекунды после. Я бы сначала проверила, не осталось ли предыдущего вдоха под новой фразой. Потом послушала бы фон без добавленной речи. Короткий скачок гула обычно проще заметить без слов. Верни запись комнаты на всех кадрах этого фрагмента или используй ровную паузу после действия, если её можно вписать в монтаж.
Возьми один переход из своего ролика и запиши, какую деталь там видит зритель. Попробуй начитать две короткие строки или синтезировать их отдельно, а затем поставь рядом с исходником. Сохрани удачную версию под новым именем. Для оставшихся кадров можно повторить этот порядок с той же скоростью речи и тем же способом сверки.