Как оживить фото с голосом нейросетью и свести запись
Как оживить фото с голосом нейросетью. Выбираем между закадровой дорожкой и говорящим портретом, готовим одну реплику и проверяем её до экспорта.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Портрет уже перестал шевелить губами. В дорожке ещё звучит последняя часть фразы. Дёргать весь ролик быстрее я бы не стал. Чтобы оживить фото с голосом нейросетью, сначала реши, кто говорит: человек за кадром или герой на изображении. В первом случае мысль держится на дорожке и движении кадра. Во втором зритель сверяет движение рта с тем, что слышит.
Для примера возьму вымышленного ведущего короткой выставки. Он должен сказать: «Слева лежат первые эскизы. Начни с самого светлого». В ролике важны слово «слева» и небольшая пауза перед вторым предложением. Один способ — оставить портрет в кадре, чуть приблизить его и дать голос отдельно. Другой — заставить героя произнести эту же запись. На одинаковом тексте становится легче выбрать формат.
Когда стоит оживить фото с голосом нейросетью
Что требуется для ролика · Как собрать пробу · Как распознать проблему
Главное — расслышать закадровый рассказ — Портрет и собственная запись отдельными дорожками — Слова звучат дольше, чем держится кадр
Герой должен говорить в кадре — Выбрать инструмент с синхронизацией губ по аудио — Начало или конец движения не совпадают с фразой
Нужна короткая едва заметная анимация — Небольшое приближение, движение света или пространства — Движение отвлекает от важного слова
Фото с трудным ракурсом или закрытым ртом — Сначала проба без речи в кадре — Зритель лучше понимает, кто к нему обращается
Для говорящего портрета я беру своё изображение, вымышленного персонажа или материал, на который получено разрешение. Так можно спокойно показать ролик подписчикам и ясно объяснить происхождение изображения. Добавленная реплика превращает даже тихий портрет в заявление от лица героя. Если нужно рассказать об уже снятом человеке, безопаснее дать закадровый голос и подписать, кто читает текст.
В нашем примере голос ведущего звучит один раз. Для него я заранее сохранил бы чистый исходник, где нет музыки и эха комнаты. Когда соберёшь две версии, одну копию можно слегка приглушить под музыку, а другая останется для синхронизации губ. Если над записью уже был громкий фон, перед новой пробой проще перечитать короткую реплику. У чистых слов более заметны начало, пауза и окончание.
Когда выбираю между двумя способами, я спрашиваю, должен ли зритель смотреть на лицо в момент важных слов. Например, виртуальный ведущий даёт указание повернуть налево. Если в кадре уже есть стрелка или вид на зал, крупные губы могут только отвлечь. Тогда лучше показать эскизы и оставить голос за кадром. Если ролик приветственный и герой обращается прямо к зрителю, говорящий портрет может сделать начало более выразительным.
Как собрать закадровую версию
Сначала запиши короткую реплику. Оставь свободное место в начале и после последнего слова. Это поможет подложить небольшой переход в монтаже. Затем положи фото или короткую анимацию отдельным слоем. Если видео заканчивается раньше, продли спокойно стоящий кадр. Я бы не ускорял речь ради двух лишних мгновений. Значение фразы лучше проверить в том темпе, в котором её записали.
В LibraChat можно подготовить текст реплики и описать анимацию фотографии. Браузерный режим «Оживление фото» создаёт новый ролик из фотографии. Готовое аудио и видео своди в монтажном приложении. Тарифы LibraChat помогут предварительно проверить доступ к созданию видео. Если пока нужен только голос поверх картинки, сохрани рабочую запись и подставь её в обычный редактор. Как подготовить текст для озвучки видео.
На исходном фото отметь свободное место вокруг головы или предмета.
Положи чистый голос на таймлайн и найди начало первого слова.
Установи картинку так, чтобы весь текст помещался без ускорения.
Если нужно движение, сделай его спокойным и проверь, не теряется ли предмет возле края.
Прослушай пробу без взгляда на экран, затем повтори с изображением.
Если голос начался одновременно с первым движением, попробуй показать кадр чуть раньше. Зритель успевает прочитать, что увидел. Если есть пауза между двумя фразами, на неё можно сохранить взгляд неподвижным или дать короткое приближение. Оба способа проще сравнить на одной записи, чем менять голос вместе с движением.
Есть приём для портрета, который нужно показать вместе с предметом. Я бы оставил лицо на экране до слова «слева», а после него перешёл на эскизы. Голос продолжится, и зритель увидит направление. В такой версии синхронизация после склейки уже не отвлекает. Остаётся проверить, что голос звучит с той же громкостью и слова воспринимаются как часть одной реплики.
Как проверить говорящий портрет
В руководстве HeyGen для Single Scene описан режим Presenter Mode. Можно ввести текст или загрузить свою аудиозапись к аватару. Если задача — сохранить свою интонацию, удобнее начинать именно с записи. На портрете я проверяю, видно ли нижнюю часть лица и не перекрывают ли рот рука, волосы или предмет. Справка HeyGen по анимации фотоаватара.
На просмотре я отмечаю два места: когда герой начинает говорить и когда заканчивает. Если звук появляется после движения рта, сравни паузу перед первой фразой. Если в середине движения всё выглядит нормально, а последнее слово не помещается, попробуй сократить саму реплику или заменить длинный конец коротким. Оставь голосу пространство. «Начни со светлого эскиза» передаёт то же действие быстрее.
Если синхронизация важна только в первой строке, попробуй оставить короткий говорящий план, а затем перейти на изображение зала. Перед экспортом пропусти кадр на скорости, с которой он покажется зрителю впервые. Когда звук заметно расходится с движением только на одном слове, я сначала проверяю длину и произношение этого слова отдельно. Для ясной реплики лучше один короткий переход, чем несколько скачков по таймлайну.
Лицо остаётся в кадре от начала до конца слов.
Первое слово не появляется внезапно посреди движения.
Пауза сохраняет естественное выражение и не прерывает кадр.
Последнее слово понятно на телефоне, когда ролик открывают обычной громкостью.
Доступность бесплатной пробы и условия экспорта проверь в выбранном редакторе. Формат, в котором удобно обсуждать движение в предпросмотре, ещё стоит увидеть как выгруженный файл. Прямо сейчас выбери одну короткую реплику и разложи её сначала как голос за кадром. Если смысл требует говорящего лица, сделай вторую версию с синхронизацией и сравни обе при обычной скорости.