Замена персонажа на видео нейросетью. Проверка движения
Как заменить персонажа на видео нейросетью. Готовим снятый фрагмент и вид нового героя, проверяем перекрытия, опору ног и движение камеры на стыке.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Снятая фигурка идёт слева направо. При повороте она на секунду скрывается за деревянным табуретом. В новой версии герой выглядит убедительно, но его нога проходит по передней стороне ножки табурета. Если нужна замена персонажа на видео нейросетью, бери для пробы место, где герой взаимодействует со сценой. По нему проще понять, сохранилось ли движение, чем по красивому первому кадру.
Условный ролик сделан для короткой истории о мастерской. Вместо деревянной фигурки должен пройти картонный робот. Силуэт у них схожий, обе фигуры поворачиваются в профиль. Для задачи с важным движением я подберу короткий участок исходной записи и один образ робота. Начну с момента до табурета, пока зритель ещё видит обе ноги. Потом проверю, по какую сторону от препятствия принят каждый следующий кадр.
Что нужно для замены персонажа на видео нейросетью
Какие исходники есть · Что попробовать · Что должно сохраниться
Короткий клип и один рисунок нового героя — Использовать видео и изображение как референсы — Поворот, направление шага и положение камеры
Есть только чистый фон — Собрать новый кадр с персонажем — Место входа и выхода из кадра
Есть сложный проход между предметами — Начать с нескольких секунд у препятствия — Порядок объектов и границы фигуры
Уже снята серия из разных ракурсов — Разобрать на отдельные планы — Размер, цвет и поза героя при смене камеры
В этом примере я пользуюсь своими материалами: есть снятая сценка и рисунок персонажа. Для видео с реальным человеком согласуй право использовать его образ и материал раньше, чем ставить монтажную задачу. В сценах, где просто нужна новая картина движения, вымышленный герой избавляет от лишнего знакомства с чужими лицами. Можно взять собственный рисунок с простым и узнаваемым силуэтом.
Прежде чем выбрать инструмент, реши, какую часть старого кадра действительно нужно сохранить. Я бы записал три опоры: ножки табурета не меняются, пол остаётся тем же, камера не приближается. Если фон допустимо пересобрать полностью, можно создать новый ролик по описанию и зафиксировать только траекторию. Для сохранения уже снятого движения нужен инструмент, который принимает видео как референс. В разборе того, как работает нейросеть для видео подробно описаны разные задачи кадра.
Что задать в Runway и где смотреть первый результат
Runway описывает у Minimax H3 возможность сочетать видео и изображения как референсы. В документации есть сценарий замены персонажа из видео с ориентиром на исходное движение камеры. Значит, для первой пробы можно дать короткий фрагмент и картинку нового героя. И дальше смотреть, что сохранилось на самом деле. Справка Runway о Minimax H3.
Возьми этот ролик как ориентир для движения и ракурса. Замени деревянную фигурку на картонного робота из приложенного изображения. Робот идёт слева направо в таком же темпе и пропадает за деревянным табуретом сразу после поворота. Оставь положения ножек табурета и рисунок пола. Сохрани размер героя примерно как в исходном клипе. Новый персонаж снова виден после того, как проходит препятствие.
Картинка робота должна показывать одежду или материал и форму героя в нужном ракурсе. Если на ней только лицо, а на видео видны ноги, модель будет придумывать их отдельно. Для первого отрезка удобно дать фигуру целиком в профиль. Если есть рисунок в трёх четвертях, я бы приложил его только для следующего плана, где герой разворачивается к камере.
Выбери короткий отрезок от свободного шага до выхода из-за предмета.
На изображении героя отметь, какая часть важна в этом ракурсе.
Запиши одну фразу о камере, одну о движении и одну о самом препятствии.
После пробы открой исходный и новый клип на одной и той же секунде.
Сравни вход в кадр и выход и послушай, совпадает ли внутренний ритм, если к нему привязана музыка.
Если фигура в первой версии слишком большая, проверь это по опоре на полу. Высота перестаёт быть абстрактной, когда рядом есть сиденье табурета: голова была ниже него, а в результате выше. Сохрани в заметке соотношение и попробуй явно назвать размер в следующей версии. С первой правкой масштаба я бы не добавлял ещё и поворот лица. Так видно, повлияла ли новая просьба на походку.
Где замена чаще всего выдаёт себя
Я замедляю место, где передняя нога проходит мимо ножки, а задняя ещё видна. Одна часть героя должна исчезнуть естественно, другая — остаться. Затем смотрю, не изменился ли сам предмет. Если табурет стал шире, модель могла облегчить себе переход за счёт фона. В коротком ролике такой скачок заметен даже без остановки.
Другой участок — место контакта с полом. Персонаж может будто скользить, когда шагает. Проверь, стоит ли нога на одной точке пола в течение опоры, и одинаково ли направление у старой и новой сцены. Если свет поменялся вместе с героем, рядом с ножками может появиться лишняя тень. Для первого результата важнее ясные движения, чем сложный свет.
Я бы также открыл кадр сразу перед заменённым кусочком. Если там герой уже идёт, зритель запомнил высоту головы и длину шага. При переходе на новое изображение эти признаки дают ощущение непрерывности. Несовпадение можно скрыть крупным планом табурета, звуковым переходом или сменой ракурса, если такая склейка понятна по сцене. После правки ещё раз смотри ролик с предыдущего плана. Отрезок, который выглядит хорошо отдельно, может по-другому восприниматься на стыке.
Посмотри, какая часть героя закрывается первой.
Сравни положение табурета до и после прохода.
Найди момент опоры ноги и проверь движение относительно пола.
Сделай пробный стык со следующим кадром и посмотри его без паузы.
Когда два кадра расходятся, исправляй место склейки или укороти заменяемый отрезок только до зоны, для которой она нужна. Если весь клип воспринимается лучше с небольшим изменением ракурса, можно отделить короткий план на табурет. Это уже монтажное решение. Сначала оставь исходник целым, чтобы вернуться к начальной композиции.
В LibraChat я использую краткое описание замены, чтобы сформулировать действия и вид оригинального героя. Для такой пробы можно работать текстом и референсным рисунком. Проверь возможности работы с изображениями, если захочешь сделать новый лист персонажа. Обработку существующего видео выполняй в редакторе, который принимает его как вход. Прямо сейчас возьми три секунды, где в кадре есть герой и предмет перед ним. С них проще выяснить, справится ли замена с настоящим движением.