Видео с поющим котом нейросетью: подбери фото с открытой мордой, запиши короткий припев и проверь, совпадает ли движение рта с началом и концом фразы.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Припев оборвался, а рыжий кот на пассажирском сиденье ещё открывает рот. Это уже похоже на разговор кота с кем-то за кадром. Когда звук идёт отдельно от движения, зритель быстро перестаёт воспринимать питомца как исполнителя. Сначала я проверю ровно одну фразу и посмотрю, где начинается движение морды и где оно останавливается.
Я Евгений. Чтобы сделать видео с поющим котом нейросетью, я заранее готовлю портрет и короткую запись вокала. Для примера возьму вымышленного рыжего кота в припаркованной машине. Движение пойдёт от звука. Это отдельная работа после выбора сюжета, даже если в примере всего несколько секунд.
Выбери портрет с видимой мордой
Для варианта в машине мне нужен вид почти спереди на высоте глаз кота. Достаточно обивки сиденья и части окна в фоне. Если использовать съёмку кота дома, я сначала ищу портрет с открытой мордой. Свет от стекла можно добавить в исходное изображение до анимации. Держать питомца на месте для самого движения не понадобится.
Смотрю на три вещи:
Рот и подбородок. Усики видны, а ремень, лапа или край лежанки не проходят поперёк морды.
Разворот головы. С двух сторон видны края морды. Когда профиль слишком сильный, проверять движение рта труднее.
Сверху остаётся немного воздуха. При наклоне головы край кадра не должен срезать уши.
Если коту нужна маленькая гитара для узнаваемой сцены, ставлю её у нижнего края. Крупный гриф вплотную к морде усложняет проверку. В этой версии гитара может лежать на соседнем сиденье. Она даёт музыкальную тему ещё до начала звука, а взгляд остаётся на морде.
Кадр с котом можно сначала приблизить на телефоне до размера обычной карточки и проверить линию рта. Если она исчезла уже в статичной версии, освещение и ракурс стоит поправить до генерации. Мне легче взять более ровный портрет, чем потом гадать, двигается рот или на морде гуляет блик от стекла.
Подготовь голос одним коротким фрагментом
Я начинаю с собственной записи, например с двух строк «Мимо окон плывёт луна. В этом кресле песня моя». Произнеси их или напой на простой собственной мелодии. В этой пробе оставь перед первой фразой короткую паузу. Тогда видно, не начала ли модель двигать мордой раньше услышанного слова. Между двумя фразами оставь чуть воздуха, чтобы рот успел закрыться.
Для такого результата нужен режим, где анимация берёт звук на вход. В справке KreatorFlow о поющих питомцах описан Lip Sync с моделью OmniHuman 2.0. Он принимает фотографию кота и трек с вокалом в MP3 или WAV. Загрузи портрет и запись, при желании добавь короткое указание о движении головы, затем запусти генерацию. Перед подтверждением сверь сумму в самом сервисе. Для пробы хватит короткого отрывка в пределах поддерживаемой длительности. Музыку под записанный голос можно добавить позднее в редакторе.
Отрезок записи · Что должно быть слышно · Что проверить в кадре
До первой строки — Короткая пауза — Морда в покое, движение не начинает пение раньше записи
Первая сильная гласная — Начало «Мимо» и ясный протяжный звук — Слышное слово совпадает с заметным открытием рта
Пауза между строками — Голос на момент исчезает — Рот успевает закрыться хотя бы на части паузы
После последнего слова — Окончание фразы, без нового слога — Движение возвращается к покою вместе с концом вокала
Я проверяю вначале запись голоса без подложки. Если слышно два голоса, например рядом подпел человек, будет трудно выбрать, какой момент считать началом. У тихой записи я сначала выровняю уровень в звуковом редакторе или сделаю короткий повтор с микрофоном чуть ближе, чтобы начало слов было ясно слышно. Нужна простая контрольная дорожка, которую легко сравнить с видео.
На её звуковой форме я отмечу начало первой строки и конец последней. Для сравнения удобно оставить в черновике те же паузы, что в загруженном файле. Если обрезать тишину до проверки, первое открытие рта изменит положение относительно звука, даже когда сама анимация получилась удачно. Лишнюю тишину я уберу в конце вместе с соответствующими кадрами.
Набросай действие для кадра до анимации
Для реплик и композиции попробуй сделать текстовый план в LibraChat. Если хочешь приложить изображение как основу для обсуждения, проверь размер файла и условия своего плана. Синхронизацию с записью в этом сценарии выполняет отдельный инструмент. Подбор сюжетов и жестов для питомца можно продолжить по разбору видео с котами.
Сделай план короткой сцены с рыжим котом, поющим на пассажирском сиденье припаркованной машины. Голос записан отдельно, есть тихое вступление, две строки и пауза между ними. Предложи один неподвижный ракурс, при котором хорошо видна морда, а фон подсказывает место. Опиши один небольшой наклон головы на длинной ноте. Оставь гитару у края кадра и сохрани тишину в начале.
Для первого дубля я выберу неподвижную камеру и один небольшой наклон. Если при повороте кот скрыл рот, повторю с более спокойным движением. Менять на этом шаге фон и вокал я бы не стал: решение зависит от одного ракурса.
При просмотре смотрю и на границу движения. Иногда шерсть по бокам рта начинает тянуться вместе с подбородком. Рот становится главным пятном, лицо питомца теряется. В такой ситуации сначала выберу другой портрет с видимой линией подбородка и оставлю ту же запись. Так можно проверить, связана ли ошибка с исходным видом.
Сравни начало, паузу и последний звук
В первом просмотре остановись на первом отчётливом слове и посмотри, успела ли начаться анимация.
Перейди к тишине между строками. Если рот всё ещё двигается, подбери более чистый вокальный фрагмент или убери запрос на сильный наклон.
Включи фрагмент с музыкой уже после проверки. Убедись, что подложка не скрыла начало голоса.
Если весь ролик сдвинут вперёд или назад на одинаковое время, его можно попробовать совместить с записью по первой фразе в редакторе. Если начало совпало, а конец разошёлся, один сдвиг здесь не поможет. Возьми короткий исходный фрагмент с паузой, чтобы повторную попытку проще было оценить. Для первого смешного кадра уже достаточно, что рыжий кот вступает вместе с голосом и успевает закрыть рот в тишине.