Нейросеть и клипы на песни: раскадровка по строчкам текста
Нейросеть клипы на песни: как разложить свою песню на шесть сцен по 5 секунд, получить описания для видео в LibraChat и собрать клип с музыкой в редакторе.
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
Тридцать секунд клипа, шесть сцен по 5 секунд, по одной на каждые две строки песни. Такую раскадровку LibraChat собрал мне за один запрос, и к каждой сцене дал готовое описание для генерации видео. Песня моя, про вечерний город и последний трамвай. Если ты ищешь «нейросеть клипы на песни», вот рабочий порядок: от текста к кадрам, от кадров к роликам, от роликов к клипу с твоей музыкой. Ниже шпаргалка, запрос и то, что из него вышло.
Нейросеть, клипы на песни и что нужно до запроса
Клип начинается не в чате, а с трёх решений. Без них раскадровка получится случайной.
Вот мой чек-лист перед запросом:
кусок песни: целиком клип не нужен, для начала хватит куплета и припева, у меня это 12 строк;
длина сцены в секундах: короткие ролики генерируются по описанию, и сцена в 5 секунд держится лучше, чем в 15;
сколько строк на сцену: я взял по две, так картинка меняется вместе со смыслом;
один стиль на весь клип: свет, время суток, фактура плёнки;
чего не должно быть в кадре: у меня это люди крупным планом и надписи.
Последний пункт я ставлю всегда. Проверено. Крупные лица в клипе отвлекают от песни, а надписи в сгенерированном кадре часто выходят кривыми. Слова и так звучат в музыке, дублировать их буквами незачем.
Нейросеть и клипы на песни: запрос на раскадровку
Текст песни и все рамки я уложил в одно сообщение для LibraChat, строки разделил знаком « / »:
Сделай раскадровку клипа на мою песню. Строки разделены знаком « / ». Нужно 6 сцен по 5 секунд, по одной на каждые две строки. Для каждой сцены: что в кадре, движение камеры, свет и цвет, и готовое описание для генерации видео одной фразой. Стиль всех сцен один: тёплая плёнка, вечерний город после дождя, без людей крупным планом и без надписей в кадре. Текст песни: Последний трамвай уходит в депо, / и город снимает пальто. / Я снова иду по мокрой мостовой, / и фонари идут за мной. / Не зови меня домой, / этот вечер — только мой. / Пусть окна гаснут до утра, / я дойду, мне не пора. / А завтра будет новый день, / и с крыш уйдёт ночная тень. / Я сохраню в кармане свет / тех фонарей, которых нет.
В запросе нет ни слова про сюжет клипа. Я не придумывал, что в нём происходит: сюжет уже есть в песне, чату нужно его увидеть. Если заранее навязать историю, кадры начнут спорить с текстом.
Обрати внимание на просьбу про «одну фразу». Развёрнутое описание сцены нужно мне, чтобы понять замысел. А в раздел видео пойдёт короткое: одна фраза, в которой всё главное.
Шпаргалка: как строчка становится кадром
Самое интересное в ответе: как чат переводит слова песни в картинку. Я ради этого и затевал всё. Песня говорит образами, а камере нужны предметы. Вот что получилось, строки из моей песни слева, кадр из ответа справа:
Строка песни · Что в кадре
и город снимает пальто — гаснут витрины, опускаются маркизы, с крыш стекает вода
и фонари идут за мной — камера низко над мокрым камнем, фонари один за другим входят в кадр сзади
Пусть окна гаснут до утра — окна по фасадам одно за другим темнеют, дорога ещё освещена
и с крыш уйдёт ночная тень — ночная тень медленно сползает к карнизам, небо вдалеке чуть светлеет
Я сохраню в кармане свет — в луже и в кармане пальто на перилах ещё живёт тёплый свет фонарей
Первая строка в таблице мне нравится больше всего. «Город снимает пальто» — метафора, её не снимешь. А маркизы, которые опускаются над витринами, снимешь. И зритель считывает ровно то, что сказано в песне: город раздевается на ночь.
Раньше я рисовал раскадровки для чужих клипов вручную, карандашом, и именно на метафорах терял больше всего времени. Сидишь над строкой «город снимает пальто» и думаешь: показать человека, который снимает пальто? Слишком в лоб. Показать пустую вешалку? Слишком сложно. Маркизы над витринами я бы, может, и придумал. Но часа через два.
Из этого правило для шпаргалки: метафору в песне не рисуют буквально, её переводят в действие предметов. Город не снимает пальто, но гасит витрины. Тень не уходит, но сползает к карнизам. Если сам застрял на какой-то строке, спроси в той же переписке: «предложи три варианта кадра для строки…», и выбери.
И самое приятное. Последний кадр рифмуется с первым. В начале трамвай уходит, свет гаснет. В конце фонари погасли, но их свет «ещё лежит в луже и в кармане пальто». Клип закрывает свою рамку, как и песня. Я этого не просил. Но именно такие вещи отличают клип от набора красивых роликов подряд.
Шесть описаний: что из них брать в раздел «Видео»
К каждой сцене чат дал описание одной фразой. Вот второе, про фонари:
От первого лица по мокрой мостовой вечером после дождя, тёплая плёнка: фонари по очереди вспыхивают в лужах и словно идут следом, янтарный свет, зерно, без людей и без надписей.
Посмотри на хвост фразы: «тёплая плёнка», «без людей и без надписей». Он повторяется во всех шести описаниях почти дословно. Это то, что удержит шесть отдельных роликов в одном клипе. Если на каком-то ролике цвет уплыл, первым делом проверь, не потерялся ли этот хвост.
Порядок работы с описаниями:
Открой раздел «Изображения» и выбери тип «Видео».
Вставь описание первой сцены, отправь. Дальше по одной сцене за раз, по порядку раскадровки.
Если ролик не попал в замысел, перепиши в описании одно слово и отправь ещё раз. Одно слово за раз. Так видно, какое именно слово тянет картинку.
Готовые ролики забери из галереи «Мои видео».
Пара оговорок по продукту. Ролики рождаются в «Изображениях», а переписка остаётся мастерской для текста: раскадровка, описания, правки. И видео открыто не на всех тарифах: HD-видео на странице тарифов отмечено у «Мастер+» и «Архитектора».
Сборка клипа на песню: монтаж и звук
Шесть роликов ещё не клип. Дальше нужна сборка, и её ты делаешь сам. Присланное видео LibraChat не монтирует, поэтому склейка и звук — в видеоредакторе на телефоне или компьютере.
Что я делаю на сборке:
ставлю на дорожку свою песню, записанную хоть на диктофон;
раскладываю ролики по таймкодам из раскадровки: 0:00, 0:05, 0:10 и дальше;
на стыках делаю короткое затемнение, полсекунды, чтобы склейка была мягче;
последнюю сцену тяну чуть дольше, под затухание музыки.
Таймкоды в ответе стоят над каждой сценой, это экономит время на сборке. Я не прикидываю, куда что ставить: всё уже расписано по секундам.
Сборку я попробовал на ноутбуке и на телефоне. На телефоне быстрее, если клип короткий, до 30 секунд. Длиннее — удобнее большой экран: видно всю дорожку сразу. И ещё. Сначала положи музыку, потом картинку. Наоборот не работает: ролики придётся резать под песню, а не песню под ролики.
Связка «нейросеть клипы на песни» в итоге делит работу честно. Чат думает над кадрами и описаниями, раздел «Видео» делает ролики, а ты собираешь и решаешь, что в клипе останется. Последнее слово всё равно за автором песни.
Если хочется посмотреть, какие ещё бывают клипы и что пробуют другие, у нас есть статья про клипы через нейросеть: там другие сценарии и форматы.
Слабо проверить на своём куплете?
Возьми один куплет своей песни, четыре строки. Запрос «нейросеть клипы на песни» проверяется именно так: на маленьком куске. Раздели на две сцены. Скопируй мой запрос, поменяй число сцен на две и вставь свои строки. Посмотри, во что чат превратит твою самую образную строку. Если кадр получился точнее, чем ты сам придумал бы, раскадровка всего клипа займёт вечер.
Попробуй прямо сейчас, пока песня в голове. Войти можно по почте, а что из видео входит в каждый тариф, видно на странице тарифов LibraChat.
нейросеть клипы на песниклип на песнюраскадровкавидео по описаниюLibraChat
