Сделай говорящее фото нейросетью. Выбери спокойный портрет, подготовь одну короткую реплику и проверь её произношение и движение губ в готовом ролике.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Для маленькой выставки нужен ролик у входа. На нём вымышленная смотрительница из афиши произносит одну фразу: «Вход на выставку через синюю дверь». Если зритель слышит приветствие, но пропускает слово «синюю», запись не выполняет свою работу. Говорящее фото я бы делал с крупным портретом и коротким текстом. Нейросеть свяжет речь с движением лица, а перед показом я проверю, понятно ли указание и совпадает ли оно с движением губ.
С какого снимка делать говорящее фото
Для пробы я беру рисованный портрет вымышленной героини на однотонном фоне. В кадре есть голова и плечи. Волосы открывают лицо, рот хорошо освещён. Не нужно начинать с фотографии, где человек отвернулся или держит чашку у подбородка. В таком кадре трудно различить губы даже на неподвижном изображении. Если взять живого человека, подойдёт собственный портрет или снимок, на использование которого человек согласился.
Что вижу на исходнике · Что можно сделать до генерации · Что проверю в клипе
Губы видны, вокруг лица свободное место — Оставить рамку на голову и плечи — Рот различим в нужном размере
Подбородок упирается в край — Взять более свободный вариант того же портрета — Лицо целиком в кадре во время фразы
На губах лежит тень — Выбрать изображение с более ровным светом — Движение губ видно без увеличения
Если портрет потом окажется слева от расписания, сделай черновой макет до генерации. Примерь размер лица в той рамке, которую увидит посетитель. Самое крупное лицо на экране компьютера мало говорит о том, что различимо на маленьком дисплее у входа. Я бы оставил вокруг подбородка небольшой запас и проверил, где пойдут субтитры. Они должны читаться ниже или сбоку, чтобы не закрывать рот.
Как подготовить реплику для говорящего фото
Начни с точной фразы, которую нужно услышать. Первым предложением можно назвать действие. Для примера это вход через синюю дверь. Слова «мы рады приветствовать вас в пространстве нашей выставки» занимают время и оставляют указание на самом конце. Если приветствие важно, вынеси его в титр или добавь после понятного указания. В материале о сценарии видео полезна проверка хронометража вслух. В говорящем портрете она особенно важна: сменить одну длинную строку проще до анимации.
Если нужно несколько вариантов для разных зон, сначала проверь условия текстового режима по тарифам LibraChat. В чате LibraChat можно собрать три короткие реплики и прочитать их вслух. В это время у тебя уже есть фото и точная мысль. Сокращать предлагаю только лишний контекст. Цвет двери, название зала или другое место оставь там, где слушатель легко различит его.
Я готовлю короткую реплику для говорящего портрета на экране у входа. Посетителю нужно пройти через синюю дверь. Напиши три варианта по одному предложению. Употреби слова «синяя дверь» в нужной форме. Сохрани направление, не придумывай номер зала. Вынеси приветствие отдельной строкой, чтобы я мог убрать его перед записью.
Дай готовый текст прочитать человеку, который не видел твоего задания. Пусть он ответит, через какую дверь надо пройти. Если он помнит только слово «выставка», сократи начало. Если звучит «в синюю дверь», но по смыслу надо «через синюю дверь», остаться должна точная версия. Учти именно речь: короткая строка из двух частей ещё может быть тяжёлой, если важное слово тонет между похожими звуками.
Как анимировать портрет по тексту или звуку
Пример отдельного инструмента — HeyGen. В справке Avatar IV описан путь через Apps и Photo to Video. В этом режиме можно выбрать изображение, ввести реплику и выбрать голос. Есть также вариант передать звуковой файл. В первом случае особенно внимательно слушай произношение слова, от которого зависит действие. Во втором возьми свою чистую короткую запись с паузой перед началом, чтобы голос не стартовал в середине слога.
Загрузи один выбранный портрет в режим Photo to Video.
Введи реплику и выбери голос либо приложи подготовленный аудиофайл, если этот вариант доступен в твоём режиме.
Сделай короткую пробу. Посмотри готовый клип в рабочем размере и проверь одно ключевое слово до следующей попытки.
На первой версии меня интересуют три разных признака:
При обычном просмотре понятно, куда идти. Голос не теряется в музыке или фоне.
Если отключить звук, видно, что движение рта начинается в ожидаемом месте и не продолжается после паузы.
Когда вернёшь звук, окончание важного слова различимо в тот момент, когда портрет заканчивает высказывание.
Если при просмотре звука трудно поймать начало, открываю файл в редакторе и нахожу первое слышимое слово. Прокручиваю кадры вокруг этой точки и смотрю, когда рот открывается. Упор только на первый звук не даёт оценки всей реплике. Этой же проверкой пройди второе ключевое слово и финальную паузу. Так видно, где запаздывает весь голос, а где сбилось отдельное движение лица.
Почему хорошая анимация может не решить задачу
Пример: в ролике героиня произносит нужную реплику, а субтитры показывают другой цвет двери. Лицо и речь выглядят убедительно, но маршрут становится двусмысленным. Перепроверь подпись отдельно от рендера. Для экрана у входа я бы посмотрел итоговый файл издалека и без звука, чтобы понять, работает ли текст сам по себе. Затем ещё раз включил бы звук и проверил соответствие.
Бывает наоборот: подпись точная, а голос пропускает короткое слово в середине. Если есть хорошая исходная запись, проще подменить одну звуковую пробу своей репликой и проверить синхронизацию заново. Видео, в котором нужная фраза осталась неразборчивой, я бы сохранил как черновик. Дробить звук на отдельные слоги в монтажной линии ради первой пробы обычно дольше, чем заново произнести одно предложение.
Есть ещё важный момент, если ролик будет повторяться. Портрет успел сказать «синюю дверь», экран сразу переключился на начало, и последняя часть фразы сливается с первой. Я оставлю в конце свободный кадр, чтобы зритель успел перевести взгляд с экрана на вход. Сохрани одну короткую копию с паузой, а потом воспроизведи её два раза подряд. Пауза нужна именно в итоговом файле: предварительный просмотр генератора может остановиться после фразы и скрыть резкий повтор, который появится у двери.
Прямо сейчас выпиши одну фразу, которую должен сказать твой портрет. Прочитай её без подсказок другому человеку. Когда он точно перескажет действие, можно проверять говорящую версию на экране.