Клип нейросетью: раскадровка, в которой машина остаётся той же машиной
Как сделать клип нейросетью из коротких роликов: две раскадровки от LibraChat, разбор глазами дизайнера и приём, который держит героя узнаваемым во всех сценах.
Е
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Можно ли сделать клип нейросетью, если есть песня и нет съёмочной группы? Можно, только клип придётся собрать из коротких роликов. Каждый ролик нейросеть делает по своему описанию. А держит их вместе раскадровка, которую пишешь ты.
Я попросил LibraChat сделать такую раскадровку дважды и разобрал оба ответа так, как разбираю макеты. Первый выглядел готовым. Он им не был.
Шесть сцен и ни одной одинаковой машины
Первый запрос был про спокойную песню о ночной поездке по городу:
Помоги сделать раскадровку клипа из коротких роликов, которые нейросеть создаёт по текстовому описанию. Песня спокойная, про ночную поездку по городу. Разбей клип на 6 сцен: для каждой одно-два предложения — что в кадре, одно движение и план камеры. Все сцены в одном стиле: ночной город, дождь, неон.
Пришли шесть аккуратных сцен. Стиль выдержан: в каждой мокрый асфальт, неон и отражения. Первая сцена такая:
Автомобиль медленно едет по пустой улице, неон вывесок отражается в лужах на асфальте.
А четвёртая такая:
Руки на руле, за окном мелькают фонари и неоновые полосы, дождь усиливает блики.
По отдельности обе хороши. Вместе они разваливаются. В первой сцене просто автомобиль, в четвёртой просто руки. Чья машина, какого цвета, чьи руки? Ответ не говорит.
Для клипа это главная дыра. Каждую сцену ты отправляешь в генерацию своим описанием. Если машина в шести описаниях не названа одинаково, ей не с чего получиться одинаковой. На экране выйдет шесть разных машин и шесть пар разных рук.
Стиль и порядок в ответе хороши. Героя в нём нет, но его не было и в моём запросе: эту дыру оставил я сам.
Стиль в клипе работает как обои: неон и дождь создают настроение, но не историю. Историю держит тот, кто едет.
Паспорт героя: одна фраза на все сцены
Второй запрос я переписал целиком. Добавил структуру песни и героев, которых надо повторять слово в слово:
Помоги сделать раскадровку клипа из коротких роликов, которые нейросеть делает по описанию. Песня спокойная, про ночную поездку: куплет, припев, куплет, припев. Дай 6 сцен и отметь, какие под куплет, какие под припев. Героев в каждой сцене описывай одной и той же фразой: старый тёмно-синий седан, за рулём девушка в жёлтом дождевике. В каждой сцене одно движение и план камеры, стиль общий: ночь, дождь, неон.
Эту фразу про героев я называю паспортом. Она переходит из сцены в сцену без изменений, как логотип в фирменном стиле. И ответ её выдержал. Вот четвёртая сцена:
Старый тёмно-синий седан, за рулём девушка в жёлтом дождевике. План сзади, машина уезжает по мосту, неон тянется длинными отражениями на мокром асфальте.
Тот же седан, тот же жёлтый дождевик, и так во всех шести сценах. Жёлтый я выбрал не случайно. На синем ночном фоне он читается издалека, когда героиня в кадре. В сцене со спины её не видно, там героя держит седан.
Хороший паспорт строится из того, что видно с любого ракурса. Даже с паспортом седаны в разных роликах могут выйти чуть разными: точного совпадения никто не обещает. Поэтому в паспорте только то, что переживёт эту разницу. Цвет, силуэт, одна крупная деталь. Номер машины или серёжки в паспорт не годятся: в общем плане их не разглядеть, а описание станет длиннее без пользы.
Сцены теперь привязаны к песне: какие идут под куплет, какие под припев. На монтаже сразу видно, какой ролик под какую часть песни.
Я бы пошёл дальше и развёл куплет и припев по плану. Куплет рассказывает, ему подходят общие планы и спокойная камера. Припев бьёт, ему нужны планы ближе и свет ярче. В этом ответе такой разницы нет: под припевом стоит и вид из салона, и машина со спины. Это не ошибка, это следующая правка.
Что я вернул бы на доработку
Ответ закончился самопроверкой:
описание героя везде одинаковое, движение и план в каждой сцене одно, стиль выдержан
Про героя правда. Про движение нет, и это ошибка ответа. Посмотри на пятую сцену:
Машина едет, дождь усиливается, капли летят. Три движения в сцене, где я просил одно. Самопроверке ответа я бы не верил на слово. Считать движения стоит самому, по каждой сцене.
Вторая правка мельче. «Трекинг-шот» — калька с английского. Для человека проще написать «камера едет рядом с машиной», и смысл не потеряется.
Третья правка тоньше. В третьей сцене камера стоит внутри салона и смотрит через лобовое стекло вперёд. Героиню оттуда не видно, а паспорт про неё в сцене есть. Паспорт нужен там, где герой в кадре. Для вида из салона я бы оставил только «жёлтый рукав на руле».
Чего нейросеть за тебя не сделает
Раскадровка готова, дальше ролики. В LibraChat короткие видео делаются по описанию в разделе «Изображения»: там переключают тип на «Видео», вставляют описание сцены и отправляют. Каждая сцена уходит своим запросом и ложится своей карточкой в «Мои видео», откуда ролики скачивают для монтажа. Генерация роликов есть не во всех тарифах, свой лучше проверить до того, как писать шесть сцен.
Порядок я бы выбрал такой. Сначала одна сцена, самая простая, например машина сбоку, где через стекло виден жёлтый дождевик. Смотришь, узнаются ли седан и героиня. Если узнаётся, отправляешь остальные пять. Если нет, правишь паспорт, а не все шесть описаний разом.
А вот склеить ролики в клип внутри LibraChat не выйдет: видеофайл к сообщению там не прикрепить, и готовое видео он не правит. Склейка под музыку остаётся монтажной программе и тебе. И песня для клипа должна быть твоей или с разрешением автора: это касается любого клипа, не только нейросетевого.
Шести коротких роликов на целую песню не хватит, и это нормально. Припев в песне возвращается, и вместе с ним в монтаже возвращаются сцены припева. Повтор работает на узнавание, как повтор цвета в макете.
Представь оператора, которому каждую сцену объясняют с нуля, потому что вчерашнюю смену он не помнит. С отдельными описаниями сцен удобно работать так же. Всё, что должно совпасть между кадрами, ставь в каждое задание, слово в слово.
Начни с паспорта. Придумай героя одной фразой, в которой есть цвет, заметный издалека. Потом выпиши структуру своей песни и отправь запрос выше в LibraChat, заменив героев и стиль на свои.
Перед генерацией прочитай шесть сцен подряд и задай себе один вопрос: узнаешь ли ты героя в каждой из них, если закрыть рукой первую сцену?
клипы нейросетькартинки и видеораскадровкаклип к песне
