Зарубежные рок-клипы с нейросетью: как смонтировать вставку
Два зарубежных рок-клипа с нейросетью и практическая схема для своей песни: где оставить живой кадр, как сделать короткую вставку и попасть в удар.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Смотришь на репетиционный кадр. Палочка падает на малый барабан, и по красной ткани на стене пробегает рябь. Я бы превратил ткань на секунду в отдельный пейзаж, а потом вернулся к настоящему удару. Но если одним запросом попросить модель перерисовать и игру, и ткань, в кадре легко потерять то, что держит весь эпизод: короткий контакт палочки с мембраной.
Ниже два зарубежных рок-клипа с нейросетью от самих групп и схема короткого перехода для собственного материала. У одного клипа опубликовано описание стыка концертного видео и анимации. У второго в титрах прямо указано, кто сделал генеративные изображения. Я смотрю на них как на два способа поставить границу между исходным материалом и тем, что строится вокруг него.
Два рок-клипа и два вопроса к титрам
В официальном материале Guns N’ Roses о The General группа описывает работу с Дэном Поттером и студией Creative Works. В клипе объединены концертная съёмка и анимированный мир. Для своего ролика я беру сам принцип чередования. Можно показать достаточный фрагмент живого исполнения, а затем перебросить внимание на один самостоятельный образ.
У The Dandy Warhols в версии The Summer of Hate с кредитом Andy Link в описании указаны генеративные фотографии. Это удобная точка входа в другую работу: можно сначала найти сильный статичный образ, а уже потом решать, нужен ли ему проезд или движение света. Я сверяю конкретную публикацию: у одной песни бывают разные видео, а титры относятся к тому файлу, на странице которого их разместили.
Референс · Что подтверждают авторы · Как применить к своей сцене
Guns N’ Roses, The General — В проекте соединены анимация и концертная съёмка — Сохранить узнаваемое действие исполнителя на стыке
The Dandy Warhols, The Summer of Hate — В описании версии 2024 года есть кредит за генеративные фотографии — Выбрать выразительный исходный кадр и отдельно решить, как он движется
У меня под рукой запись гитарного риффа и один план барабана. Этого хватает для пробы. Вместо повторения цветов и персонажей из известных клипов я беру то, что уже было в комнате: выцветшую гардину, которая висит примерно на уровне тарелок. На её поверхности есть одна яркая диагональ. Она может связать снятую сцену и отдельную вставку даже без сложного превращения.
Сначала отметить звук, потом сделать вставку
На дорожке найди удар, после которого гитара держит ноту или на миг освобождает место. Я поставлю метку прямо на начале удара и ещё одну перед возвращением к установке. В черновом монтаже между ними можно оставить обычную неподвижную фотографию ткани. Пусть она появится на столько кадров, чтобы зритель успел заметить диагональ. Видно уже сейчас, выдерживает ли переход паузу.
Сохрани кадр, где кончик палочки касается мембраны. Это связь с выбранным звуком.
Сделай крупный план ткани под тем же углом. Пусть красная складка стартует в похожей части прямоугольника.
Отдельно реши, куда движется ткань во вставке. Одного направления достаточно, чтобы стык можно было проверить.
Для движения из изображения можно использовать схему из руководства Runway Gen-4. Исходная картинка задаёт вид, а текст описывает движение. Я выбираю свою фотографию складки с заметной диагональю. Просьбу о движении камеры оставляю на следующий заход, если движение самой ткани будет различимо. Для нового стартового кадра пригодится формула запроса для изображений.
Камера неподвижна над красной тканью. Ближняя складка плавно поднимается слева направо, затем опускается. Ворс вдоль диагонали ловит короткий тёплый блик. Кадр удерживает исходную композицию, всё движение сосредоточено на ткани.
Если внутри сгенерированного отрезка нужная складка появляется лишь в середине, я вырежу короткий участок вокруг неё. Важно, чтобы внутри этого участка предмет оставался читаемым. Оставлять длинный проход только потому, что на него ушло время, нет смысла: музыка уже установила длительность паузы. Для проверки чернового плана в другом инструменте стоит открыть условия нужного режима LibraChat и сверить, можно ли передать фотографию как исходник для движения.
Отдельная проблема возникает на возврате. Если в момент появления барабанщика рука уже далеко от установки, склейка может выглядеть так, будто целый удар пропустили. Я бы заранее оставил немного исходной съёмки перед и после того места, где собираюсь вернуться. Так можно выбрать кадр, в котором рука ещё продолжает начатый жест.
У ткани тоже есть фаза покоя. Если после красной вставки новый план открывается резким движением палочки вверх, я проверю вариант, где складка к этому времени почти опустилась. Перерыв в движении даёт следующему жесту место. При длинной гитарной ноте можно удержать покой немного дольше, при быстром дробном ритме важнее ясно увидеть первый жест после возврата.
Проверить переход с музыкой и без неё
Сначала включи звук и прослушай один стык в цикле. Если глаз заранее бросается к красному пятну и удар кажется запоздалым, сдвинь начало вставки на один-два кадра. Когда меняешь момент склейки, оставь длительность вставки и направление движения без изменений. Иначе придётся гадать, какая из трёх правок привела к результату.
Потом отключи звук. Я ищу место, где диагональ ткани подхватывает движение палочки или яркая область оказывается там, куда уже направлен взгляд. Это не требует точного совпадения контуров. Важно, чтобы взгляд был в нужной части экрана. Если движение видно только после просмотра в цикле, могу взять кусок, где складка начинается раньше, или упростить кадр до одного блика.
В музыкальной версии проверь, что при склейке удар остаётся на дорожке, а шум из вставки выключен.
На беззвучном просмотре проверь, успевает ли глаз увидеть связь между двумя углами.
При возвращении к живому кадру оставь реальный жест, по которому понятно, что исполнение продолжается.
Я бы дал себе одну короткую пробу: вставка на первом ударе, возвращение на следующем заметном звуке, без других эффектов. Если хочется сформулировать в чате LibraChat ещё один вариант задания на движение, приложи описание собственной ткани и сформулируй, куда должен уйти блик. Для оценки всё равно нужен монтаж на твоей дорожке. Прямо сейчас поставь одну метку на удар, подставь на её место стоп-кадр и послушай стык. Таким способом можно проверить идею ещё до оживления картинки.