Оживление видео нейросетью: как изменить снятый кадр
Оживление видео нейросетью на примере снятой сцены: добавляем движущуюся ленту к бумажному змею и проверяем, как новая деталь ведёт себя у края кадра.
Евгений
Дизайнер-партнёр LibraChat
8 мин чтения
У бумажного змея в снятой сцене виден хвост, но хочется, чтобы на нём ещё трепетала яркая лента. Змей покидает кадр справа. Если лента в этот момент остаётся висеть посреди неба, правка выдаёт себя даже на маленьком экране. Для меня оживление видео начинается с таких деталей. Сама идея проста, а принять её можно только по движению.
Под «оживлением» могут понимать анимацию фотографии, реставрацию старой записи или добавление эффекта в уже снятое видео. Здесь берём третью задачу. Перед нами собственный клип, в котором камера уже провожает змея. Нейросеть добавляет одну движущуюся деталь поверх новой версии клипа. Последовательность кадров исходной записи служит нам образцом при проверке. Пример со змеем условный: по нему можно повторить процесс на своей съёмке.
Оживление видео: сначала выбери кусок с трудным движением
Для пробы я беру короткий непрерывный план. У змея должны быть хорошо видны хвост и место крепления будущей ленты. Можно начать с шести секунд: первую змей летит ровно, затем отклоняется, а ближе к концу выходит за край. Отрезок, где он только висит посреди кадра, мало скажет о том, как сервис поведёт себя в момент поворота.
Сохрани оригинал целиком и отдельно вырежи фрагмент. Если обрезал несколько секунд в начале, поставь временные отметки от начала новой копии. Иначе коллега, которому ты отправишь правку, найдёт в исходнике другое место по тому же времени.
Проиграй отрезок и отметь кадр, на котором видно точку крепления.
Найди момент самого резкого изменения направления.
Досмотри до выхода змея. Отметь, когда за край уходят корпус и его собственный хвост.
Отдельно запиши, что зритель должен услышать в новой версии, если в ролике есть речь или звук ветра.
В условном примере меня интересует смена направления почти посередине клипа. Лента может на долю секунды запаздывать всем свободным концом. Точка крепления при этом движется вместе с хвостом. Даже если мы добавили ленту пока только в один кадр, это условие стоит записать заранее.
На длинной съёмке выход за границу удобно искать с конца плана. Останови видео на первом кадре пустого неба и отступи на полсекунды. Если там видно только край хвоста, запомни этот ракурс для приёмки. Бывает, что сам змей уже исчез, а хвост ещё на экране. Тогда слишком раннее исчезновение ленты заметно так же хорошо, как и слишком позднее.
Подготовь место крепления и сформулируй правку
Я выбираю стоп-кадр, где хвост виден на фоне неба. На нём можно понять, какая часть ленты привязана, какая свободна и достаточно ли контраста. Если у исходника серый фон, ярко-оранжевый цвет читается сразу. Чтобы выбрать длину, смотрю на размер самого змея. Очень длинная лента становится вторым героем кадра, и авторский акцент перескакивает с его полёта на новый эффект.
Такое задание для правки кадра подойдёт как отправная точка.
Добавь к концу хвоста бумажного змея одну узкую оранжевую тканевую ленту. Покажи видимый узел в месте крепления. Свободный конец легко изгибается в сторону, куда уходит хвост. Сохрани вид самого бумажного змея и его положение относительно облаков.
Слово «узел» задаёт точку, которую легко проверить глазами. Указывать, что она оказалась именно на нужном конце хвоста, проще на ясном исходном кадре. Если хвост сливается с цветом облаков, сделай опорным соседний момент, где контур отделяется. Слишком красивый, но неподходящий кадр можно оставить для просмотра результата.
В чате LibraChat можно подготовить короткое задание по описанию сцены или обсудить один выбранный кадр. Попроси пересказать его от лица монтажёра: где должна появиться одна деталь, что проверять в момент поворота и какие дефекты потребуют нового дубля. Собираешься приложить кадр? Сначала посмотри, входит ли работа с изображениями в твой тариф LibraChat. Если же у тебя пока нет клипа и нужен новый видеоряд по тексту или изображению, этот вариант отдельно разобран в статье о нейровидео.
Протяни изменение по исходному ролику
Для правки существующего клипа подойдёт сервис с входом в видеорежиме, например Edit Studio в Runway. В справке описаны загрузка файла, редактирование ключевого кадра и перенос результата на остальные кадры моделью Aleph 2.0. Для этого режима указан входной клип от 2 до 30 секунд, максимум 30 кадров в секунду и разрешение до 1080p. Перед выгрузкой из монтажной программы посмотри именно на параметры пробной копии: телефон может дать исходник с частотой выше указанной. Справка Runway по Edit Studio.
Загрузи исходный отрывок, выбери кадр с точкой крепления и сделай правку изображения. Если лента в кадре появилась дважды или узел попал на корпус змея, легче исправить это на ключевом изображении. Потом запускай генерацию видео. У Runway есть отдельная инструкция Extra motion для дополнительного движения. Она уместна, если кадр уже получился, а на пробной анимации ткань выглядит жёсткой. Для такого случая я бы указал, что свободный конец мягко трепещет на ветру, а основание следует за хвостом. Примеры формулировок для Aleph 2.0.
Похожий вход есть в Adobe Firefly: в справке редактор указан как Video → Prompt to edit clip, с загрузкой уже снятого или сгенерированного видео. В конкретном аккаунте проверь варианты моделей и условия использования перед пробой. Рабочий вопрос у обоих маршрутов один: проходит ли новый клип весь нужный участок с тем же действием. Инструкция Adobe по правкам через текстовый запрос.
При сравнении двух попыток начни с одной и той же выбранной версии исходника. Меняй один параметр. Например, оставь цвет и точку крепления, поправь только жесткость свободного конца. Тогда видно, сработало ли изменение запроса. Пробовать одновременно расправить ткань, перекрасить небо и исправить рывок камеры для этой задачи слишком затратно: даже если картинка станет приятнее, понять причину изменения движения будет трудно.
Ещё до подстановки подпиши файлы понятно для себя: исходник, первая лента, мягкая лента. Если вторая попытка проиграет первой на повороте, верни удачный дубль. В редакторе полезно положить версии одна над другой без сдвига. При переключении дорожек взгляд остаётся на узле, и легче заметить, что изменился уже весь хвост.
Проверь границы и стык с остальным монтажом
Сначала запускаю клип целиком в обычном темпе. Затем пересматриваю отмеченные места, переключаясь между оригиналом и версией с лентой. Если видео будет в длинном монтаже, сравниваю уже на его дорожке, по одному и тому же моменту. В проигрывателе сервиса легко пропустить чуть укороченный конец, а на стыке со следующим планом он может убрать подводку к смене действия.
Где смотреть · Что видно в исходнике · Какую версию принять
Начало полёта — Хвост отделяется от корпуса на фоне неба — Лента начинается у окончания хвоста, узел следует за ним
Смена направления — Змей наклоняется; на фоне проходит край облака — Свободный конец меняет направление постепенно, фон не скачет
Выход справа — За корпусом из поля зрения уходит хвост — Лента покидает кадр вслед за хвостом, у края нет цветного всплеска
Стык со следующим планом — Записанный звук продолжается под сменой кадра — Длительность участка подходит, звук после подстановки проверен отдельно
Если на повороте лента отцепилась, я просматриваю несколько кадров подряд. Когда изменился цвет или размер ткани, имеет смысл вернуться к ключевому изображению и упростить форму. Когда точка съехала именно у границы, иногда помогает выбрать соседний опорный кадр, где узел ещё различим. Убедись, что он относится к тому же движению. Случайная смена плана внутри пробного фрагмента только усложнит сравнение.
Версию для монтажа принимаю после трёх проверок.
Новая деталь держится на месте и видна в масштабе будущего видео.
Змей повторяет нужную траекторию, включая поворот и выход из кадра.
Следующий план начинается вовремя, а звук звучит так, как задумано.
Последний шаг хорошо работает на телефоне, где зритель увидит ролик без возможности разглядывать пиксели. Если внимание в конце само следует за змеем и кромка кадра остаётся спокойной, лента добавила полёту движение. Я оставляю рядом обе версии. Когда понадобится укоротить сцену, смогу сразу найти исходный момент выхода и решить, подходит ли для нового монтажа оживлённый фрагмент.
Открой LibraChat и попробуй прямо сейчас описать один поворот, выход за край или проход за предметом из своего видео. Попроси составить по этому месту два критерия приёмки. С таким коротким заданием оживление видео легче начать с самого трудного фрагмента.