Техно-клипы нейросетью: как разметить восемь ударов своей дорожки, придумать простое движение и собрать первый цикл в монтажной программе по отметкам.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На третьем ударе пурпурный диск почти доезжает до жёлтой полосы. На четвёртом он уже слишком далеко. По отдельности и движение, и музыка хорошие. Вместе получается будто два человека пытаются идти в ногу и каждый немного спешит. Я бы собирал техно-клипы нейросетью с одной точкой синхронизации. Для первой пробы хватит восьми ударов своей дорожки, одного диска и неподвижной полосы, рядом с которой заметна остановка.
Если включить эту пробу второй раз, расхождение слышно иначе. На четвёртой доле ещё идёт фраза, а пятая начинает следующую группу из четырёх. Я могу оставить диск чуть дольше в движении и остановить его именно в этой точке. Вся сцена сразу выглядит собраннее, хотя в кадре за эти полсекунды ничего нового не появилось.
Как выбрать восемь ударов?
Для примера беру собственный инструментальный фрагмент в ровном темпе 120 ударов в минуту. Между соседними ударами при таком темпе проходит полсекунды. Восемь долей дают четыре секунды от начала первой до начала девятой. А сама восьмая начинается на отметке 3,5 секунды. Это маленькая разница на бумаге. На монтажной линейке она решает, правильно ли начнётся следующий цикл.
С разной музыкой точки окажутся в разных местах. В этом случае я начинаю с того участка своей дорожки, где хорошо слышно начало одного повторяющегося рисунка. Пусть он играет несколько раз. Там, где слышится заметное возвращение, ставлю первую отметку. Вторую поставлю в середине, третью в начале следующего повторения. Например, маркеры в Premiere помогают помечать точки в клипе и последовательности. Справка Adobe о маркерах.
Моя монтажная записка для первого цикла выглядит так.
Точка в пробе при 120 BPM · Что должно быть видно · Зачем я оставляю точку
Начало первой доли, 0:00 — Диск слева от полосы — Однозначное положение для начала цикла
Начало пятой доли, 0:02 — Край диска совпадает с полосой — Основной зрительный акцент
Начало следующего цикла, 0:04 — Диск снова в начальной части кадра — Граница склейки или старта продолжения
Здесь не требуется превращать каждую долю в склейку. Пока диск движется, зритель уже видит, как меняется расстояние. Если добавить восемь новых планов, акцент у полосы потеряется. В начале я оставлю только одну заметную перемену в середине и проверю её на слух.
Что поручить нейросети, если дорожка есть отдельно?
В чате можно наметить визуальную схему, а фрагмент по описанию создать уже в разделе «Изображения» с типом «Видео». В запросе я опишу, что вижу, когда движение ещё только начинается, и куда диск должен приехать. Темп проверю при монтаже. Модель с записью «120 BPM» в тексте не обязана поставить остановку ровно на нужный кадр.
До генерации я определяю четыре ограничения.
Диск виден целиком. Именно край диска отмечает пересечение.
Жёлтая полоса остаётся в одном месте. По ней видно, когда происходят ускорение и остановка.
Свет остаётся ровным. Ритм возникает из смены положения, и для него не нужны вспышки.
Камера смотрит сверху с одной точки. Тогда масштаб полосы не меняется между фрагментами.
Первый запрос звучал бы примерно так:
Сними короткий горизонтальный план сверху. На матовом графитовом фоне расположены один пурпурный объёмный диск и узкая неподвижная жёлтая полоса по центру. В начале диск чуть левее полосы. Он плавно движется вправо, останавливается, когда его ближайший край совпадёт с полосой, затем плавно возвращается влево. Освещение ровное, положение камеры и масштаб сохраняются. В кадре нет других предметов, текста и вспышек.
Если цель — снять клип с несколькими героями и действиями, пригодится соседний материал о непрерывности предмета в раскадровке. Здесь я проверяю только связь движения и музыки. Для начала найду в «Моих видео» дубль, где хорошо видна остановка диска, и скачаю его под отдельным именем. В монтажной программе он будет лежать рядом с дорожкой. Перед генерацией уточни, доступно ли видео в твоём плане. Тарифы LibraChat.
Как смонтировать техно-клипы нейросетью по одной доле?
Импортирую скачанный ролик на дорожку над музыкой. Сначала нахожу кадр, где край диска совпал с полосой. Подвигаю весь клип, чтобы этот кадр оказался у маркера пятой доли. Подрезку начала и конца делаю после совмещения. Если сначала отрезать ровно четыре секунды, возможно, самый нужный кадр вообще не попадёт в рабочий отрезок.
Затем делаю короткий просмотр.
Начинаю с двух ударов до основного совпадения. Смотрю, появляется ли визуальная остановка в тот же момент, что ожидаемый звук.
Сравниваю начало и конец цикла. Если в двух кадрах диск на разном расстоянии от полосы, ищу другие границы с похожим положением.
Ставлю две копии подряд. Иногда первый просмотр выглядит хорошо, а при повторе становится заметен рывок на стыке.
Если второе соединение хуже первого, сохраняю одиночный отрезок как готовую пробу. К нему можно сделать отдельный следующий фрагмент вместо повторения.
Можно ускорить движение в редакторе, если сгенерированный остановочный кадр почти совпал и темп меняется плавно. Я предпочитаю сначала сдвигать исходник. Так меньше риск, что короткая остановка превратится в едва видную мельтешащую паузу. Потом проверяю клип с музыкой, а затем включаю дорожку с начала ещё раз. Если успеваю заметить пересечение, видно, откуда у движения взялся акцент.
Что делать, если глаза и уши расходятся?
Я несколько раз включаю только пару секунд вокруг отметки. Бывает, диск уже коснулся полосы, но зритель замечает касание позже. Виновата может быть слабая разница цветов или длинное торможение. В такой пробе я сначала смотрю на кадр без остановки. Если касание трудно увидеть, поправлю размер полосы или выберу фрагмент, где диск замедляется заметнее. Передвигать музыку здесь бессмысленно. Она уже привязана к началу цикла.
В другой пробе остановка отчётлива, просто появляется слишком рано. Тогда я сдвину клип на монтажной линейке и посмотрю, что стало с концом. Выровнять одну точку и оставить скачок перед повтором легко. Если мне важнее непрерывная петля, оставлю чёткий средний акцент и заменю лишь последние несколько кадров. На втором повторе обычно слышно и видно, какие из двух решений действительно совпадают.
Прямо сейчас выбери восемь ударов своей дорожки и открой LibraChat. Опиши одну видимую перемену, для которой можно назвать точный момент на экране. В моём примере это положение края диска рядом с полосой. Совмести эту точку с одной отметкой и проверь результат на двух повторах.