Соединить видео нейросетью — снять скачок между кадрами
Как соединить видео нейросетью, когда двум клипам не хватает общего движения. Подготовь граничные кадры, проверь короткую вставку и склейку по звуку.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На первом клипе створка картонного макета приоткрыта. На следующем она уже лежит на столе, а камера словно не двигалась. В ролике для выставки такая склейка скрывает самую интересную часть движения. Если нужно соединить видео нейросетью, можно использовать последний кадр первого клипа и первый кадр второго как границы короткой вставки. Покажу, когда это имеет смысл, как подготовить оба вида и на каком моменте проверить, не стала ли створка другим предметом.
Когда стоит соединить видео нейросетью
Я сначала спрашиваю, что зритель должен понять на стыке. Можно переставить планы и сразу показать уже открытый макет, если у ролика задача просто познакомить с готовой работой. Для объяснения механизма нужно увидеть, куда поворачивается картон. Если исходник показывает только начало и конец, полезна короткая вставка. Она иллюстрирует предполагаемое движение. Когда же речь о документальной записи реального опыта, я бы подписал такую вставку как иллюстрацию либо обошёлся двумя исходными положениями.
Что заметно при просмотре · Какой монтаж попробовать · Где увидеть разницу
Действие ясно, только планы разного размера — Склейку в момент начала нового плана — По положению макета и направлению взгляда
Само движение отсутствует между похожими кадрами — Короткий переход с двумя граничными кадрами — По скорости и направлению поворота створки
Съёмка резко меняет угол и свет — Отдельный нейтральный перебивочный кадр — По тому, можно ли продолжить рассказ без ложного движения
Размытый или полностью закрытый край створки плохо объясняет, где она начинается. Для иллюстрации я выберу кадр чуть раньше, если там ещё читается положение шарнира. Затем отступлю к первому чёткому виду во втором клипе. На два изображения приходится одна и та же линия стола и один цвет картона. Простой ориентир на фоне помогает увидеть, вращался ли макет или передвинулась сама камера.
Подготовь границы короткой вставки
У Vidu для некоторых моделей есть режим Start-End Frame to Video. Он принимает изображения начального и конечного кадра и строит видео между ними. Поддерживаемые модели и входные параметры смотри в справке Vidu. Описание режима Vidu.
Я бы вывел кадры в одном соотношении сторон и проверил их рядом. Первый — последний чёткий вид створки до пропуска, второй — первый чёткий вид после него. Если повысить резкость только на втором, на границе уже будет видно отличие. Поправь форму рамки и размер одинаково для обоих. Крупный скачок позиции лучше заметить до запуска, чем лечить цветом у готовой вставки.
Удобные ориентиры на двух изображениях:
Линия сгиба остаётся на одной стороне макета. По ней можно сверить ось поворота.
Передняя кромка стола не уезжает вниз или вверх. Так заметна лишняя смена точки съёмки.
Поднятый край створки становится ниже. В этом направлении продолжится движение через границу вставки.
Для теста пригодится запрос, в котором описана только недостающая часть:
Одна картонная створка плавно опускается по существующей линии сгиба от приоткрытого положения до горизонтального. Шарнир и картонное основание остаются на прежних местах. Камера, стол и мягкий свет неподвижны. Сохрани толщину и цвет картона в обоих граничных видах.
Если в середине на картоне появилась дополнительная складка, посмотри, не поменялся ли масштаб детали между двумя изображениями. Иногда помогает выбрать более близкие подходы к движению. В нашем примере это кадр, где створка уже начала опускаться. Такой исходник снимает неопределённость. Если появилась новая деталь на месте неизменного шарнира, проще ограничить вставку несколькими удачными кадрами или показать два положения напрямую.
У двух кадров может совпасть цвет, но отличаться тень под створкой. Положи изображения рядом и сверяй тень по краю картона. Когда тень на второй фотографии отходит в другую сторону, зритель заметит скачок света в середине поворота. Я бы сначала выбрал кадры с похожим положением лампы. При помощи кадра со зрителем, который смотрит на макет, можно заранее показать, что прошло время. Тогда разницу освещения не придётся выдавать за непрерывный поворот.
Собери клипы и проверь переход в обычном темпе
Поставь вставку между исходными клипами в монтаже. Если первый кадр вставки и последний кадр ролика повторяются, убери лишнее удержание. Проверь начало второго клипа таким же способом.
Прокрути стык один раз медленно. Убедись, что створка не поворачивает обратно в последние несколько кадров и не перескакивает через шарнир.
Включи весь отрывок с привычной скоростью и звуком. Если фон резко пропадает или перескакивает, проверь отдельно звуковую дорожку. Видеопереход не исправляет звук сам по себе.
При сравнении двух вариантов я отключу звук и проверю, понятно ли движение в обоих. Затем включу звук и послушаю, где встречается граница двух записей. Если в первом случае стык незаметен, а во втором слышен скачок фона, пересобирать движение не требуется. Можно проверить короткое перекрытие звуковых дорожек в монтажном редакторе, если обе записи имеют запас одинакового комнатного шума. Не перекрывай этим шумом важную реплику.
Когда не удаётся выбрать между вставкой и обычной склейкой, устрой короткий просмотр без подсказок. Я сохраню обе версии, назову их по порядку показа и попрошу другого человека сказать, куда повернулась створка. Если ответ одинаковый, выбираю по другим требованиям к ролику. Например, для показа механизма важны полное движение и сохранение формы, а для короткого анонса хватит двух крайних положений.
Если вставка сдвинула весь ролик относительно уже записанного диктора, отметь, какие слова должны совпасть с результатом движения. Можно сделать перед ними небольшую паузу в озвучке или укоротить вставку до наблюдаемого поворота. Конечное положение должно появиться к слову об открытой створке. Тогда зритель успеет понять, к чему относится голос, даже если раньше никогда не видел макет.
Прямо сейчас выбери одну проблемную склейку. Поставь её на повтор, не смотри на монтажную линию и скажи, что именно должно измениться между двумя клипами.