Как оживить песню: нейросеть для движения на обложке
Разбираю, как нейросеть поможет оживить песню: сделай короткую анимацию из своей обложки, сверь повтор с музыкой или выбери ремастер для обновления звука.
Денис
Продакт LibraChat
8 мин чтения
На моей обложке бумажная лодка лежит на тёмно-синем листе. Для фрагмента песни я хочу, чтобы свет на сгибе дрогнул вместе с лодкой и к следующей музыкальной фразе вернулся на место. Когда надо оживить песню, нейросеть может помочь сделать такое движение из своего изображения. Получится отдельный видеоряд. Свою запись я подложу к нему сам.
Другое дело, когда у песни уже есть обложка и меня беспокоит звук. Например, инструменты заглушают вокал. Тогда я разбираюсь с записью в отдельном музыкальном инструменте и сравниваю новую версию с исходной. Ниже я начну с лодки, а для звука покажу, где искать ремастер и что переслушать до замены файла.
Нейросеть поможет оживить песню, когда в обложке нашлось движение
Я сделал раскадровку на краю блокнота. Первая мысль была отправить лодку к краю листа, словно она плывёт по воде. Но в следующем повторе ей пришлось бы снова оказаться в центре. Скачок виден сразу. Я оставил лодку на месте и придумал небольшой качок вправо с возвратом. Важно, чтобы нарисованная линия берега, край листа и положение камеры давали мне неподвижные ориентиры.
В этом эскизе у лодки есть светлая полоска на сгибе. Когда наклон меняется, я ожидаю небольшого сдвига света. Сам фон тёмный. Придумывать волны не хочется: две линии вокруг лодки уже обозначают воду. Я отметил три свойства, по которым буду узнавать удачный фрагмент.
Место лодки на листе остаётся прежним. Меняется только наклон.
Линии вокруг неё держат форму и служат ориентиром в обоих концах отрезка.
Бумажная фактура и край сгиба остаются узнаваемыми в маленьком превью.
Замысел можно проверить по своему снимку. Покажи его уменьшенным, закрой название и спроси, различим ли силуэт лодки. У меня тонкая белая полоска хорошо читалась именно на синей бумаге. Отдельную надпись проще поставить при монтаже. Тогда она точно останется в одном месте и её не придётся включать в описание движения.
Я попробовал приложить к снимку узкую бумажную рамку, как на экране телефона. Левый край сначала задевал поднятый нос лодки. В таком кадре даже слабый наклон мог бы скрыть его окончательно. Я сдвинул рамку так, чтобы с обеих сторон осталось понемногу места. Это задаёт предел будущего качка ещё до генерации. Самой лодке в кадре менять размер тоже не требуется.
Два такта для короткого повтора
Сначала я прикинул, где повторяется музыкальная фраза. В моём примере темп 80 ударов в минуту, в двух четырёхдольных тактах восемь долей. Это 6 секунд. У песни с другой длительностью фразы отрезок получится другим. Мне удобно начать с цели в 5–8 секунд для короткой вставки и потом подогнать выбранное движение под свою запись.
На бумаге я проверил один момент. Если качок ещё идёт на границе двух тактов, новый отрезок начнётся с уже выпрямленной лодки. Значит, из сгенерированного видео придётся выбрать место, где движение действительно окончилось. Когда подходящего возвращения нет, можно оставить один качок на весь короткий анонс и завершить его на неподвижном кадре. Так мне не понадобится повторять заметную склейку.
Два такта я отсчитываю от начала нужной фразы. В записи могут быть вступление и короткий вдох перед вокалом. Отсечка в шесть секунд от начала всего файла тогда попадёт не туда. Для моего замысла важнее, чтобы лодка уже успокоилась к новому заходу музыки. Лишнюю неподвижность в конце проще убрать при обрезке. Дополнительный качок перепутает два события, ради которых я выбрал этот отрезок.
Что видно возле конца клипа · Что я сделаю при монтаже
Лодка вернулась к начальному положению, фон совпадает — Поставлю два экземпляра друг за другом и проверю стык
Лодка остановилась в другой позе — Попробую оставить один показ без повтора
Фон уехал вместе с камерой — Вернусь к описанию неподвижного ракурса
Обложка на месте, но качок не совпал с началом новой фразы — Переставлю границу отрезка по своей дорожке
Видео в LibraChat есть на части тарифов. Перед работой я сверю доступ по странице тарифов LibraChat. Потом открою LibraChat в браузере, зайду в «Изображения» и выберу «Оживление фото». Туда отправлю свой снимок. Для движения предложил бы такое описание.
Оживи мою обложку с белой бумажной лодкой на тёмно-синем листе. Камера находится неподвижно прямо над обложкой. Лодка один раз слегка наклоняется вправо, возвращается в начальное положение и замирает. Светлая полоска на сгибе меняется вместе с наклоном. Тёмный фон, нарисованные круги и край бумаги остаются на месте. Нужен спокойный короткий план без новых предметов и надписей.
Лодку ищу в «Мои видео». Оттуда сохраню клип на компьютер для монтажа. Шесть секунд здесь нужны для монтажного примера. Кадры и их длительность посмотрю уже в файле. Почему движение из одной фотографии приходится проверять отдельно, разобрано в статье о том, как нейросеть делает видео.
У меня под рукой будет исходная обложка. С ней проще понять, почему заметен переход. Бывает, нос лодки выглядит одинаково, а светлая полоска в конце оказывается шире. При двух повторах скачок блика виднее, чем сам наклон. Я сначала ищу кадр, в котором совпали положение лодки и яркость её грани, а потом смотрю на тёмный фон. Слишком долгую остановку предлагаю убрать, когда удачный стык уже найден.
Свою запись положу на отдельный слой
В отдельном редакторе я соединю скачанное видео с фрагментом своей песни. Например, в OpenShot видео и аудио можно положить на разные дорожки шкалы времени. Видеоряд оставлю без звука. Если у скачанного файла есть звук, его можно приглушить до нуля у самого клипа и оставить свою песню на соседней дорожке. Отрезок беру между началом выбранной фразы и соответствующей меткой конца. Руководство OpenShot по клипам
Поставь свою запись на шкалу времени и найди два начала повторяющейся музыкальной фразы.
Отметь в видео спокойное положение лодки и место, где она снова успокоилась. Проверь, есть ли подходящий стык.
Поставь рядом два повтора изображения. Проиграй их со своей дорожкой и послушай, как проходит граница фразы.
Я повторяю видеоклип, а дорожку оставляю целой в пределах выбранного отрезка. Иначе на каждом повторе пришлось бы слушать ещё и склейку звука. Если это анонс и нужен один шестисекундный показ, достаточно одного наклона и аккуратного окончания. Больше движения зритель от бумажной лодки не ждёт.
После выгрузки проверю сам видеофайл. Мне однажды казалось, что начало совпало с музыкальной фразой: просмотр в редакторе стартовал с маркера рядом с ней. При открытии файла выяснилось, что перед звуком оставил лишний кусок пустой шкалы. Теперь просматриваю от начала до конца. Сверяю первый слышимый момент и последний кадр, пока у меня открыта и исходная запись.
Когда хочется оживить само звучание
Для своей песни, которая уже сохранена в Suno, в справке описан режим Remaster в меню Create. Он пригодится, если устраивают слова и форма песни, а хочется уточнить баланс или характер звука. У параметра Variation strength настройка Subtle рассчитана на минимальные изменения. Полученную версию я сохранил бы рядом с исходной и сравнил один и тот же припев, начало вокала и окончание. Даже небольшое изменение лучше заметить до замены дорожки в клипе. Справка Suno о Remaster
Свою готовую запись можно открыть и в обычном редакторе звука. Для слишком тихой копии я сначала меняю уровень у целой дорожки. В Audacity эффект Normalize задаёт максимальную амплитуду фрагмента или записи. Он полезен, когда нужно поправить общий уровень. Голос и инструменты в сведённом файле при этом остаются вместе, поэтому их баланс правлю в своём исходном проекте, когда отдельные дорожки ещё доступны. Руководство Audacity о нормализации
При сравнении я стараюсь выставить обеим версиям близкую громкость. И слушаю одно место. Для моей песни это начало припева, где вступает второй голос. Если эти слова по-прежнему теряются, общий уровень оказался отдельным вопросом. Прежде чем менять фонограмму, я вернусь к балансу голосов в записи.
Для новой анимации мне эта операция может вообще не понадобиться. Попробуй сейчас найти в своей записи первую законченную короткую фразу и прикинь, успеет ли предмет на обложке сдвинуться и вернуться за это время. Этого уже хватит для описания первого видеоряда. Звук можно оставить тем, который ты хотел показать с самого начала.