Нейросеть и клип из фото: от трёх снимков к ролику
Как собрать клип из фото с нейросетью: выбрать снимки, задать движение каждому, проверить сохранность деталей и соединить фрагменты в отдельном видеоредакторе.
Е
Евгений
Дизайнер-партнёр LibraChat
8 мин чтения
Можно заставить каждый снимок двигаться и всё равно получить обычное перелистывание альбома. Чтобы нейросеть помогла собрать клип из фото, я сначала ищу связь между изображениями. Один кадр должен открывать маленькую историю, другой показывать деталь, третий завершать её. Красивое приближение камеры само по себе эту связь не создаёт.
Для примера возьму три условных фотографии велосипедной прогулки: велосипед у калитки перед выездом, крупный план руля с прикреплённой картой и тот же велосипед у воды. Хочу короткий ролик на 12 секунд. Оживление отдельных снимков сделаю отдельной задачей, а порядок, обрезку и звук оставлю видеоредактору. В LibraChat нельзя поручить чату монтаж присланных видеофайлов.
До генерации раскладываю снимки по порядку
На этом этапе мне достаточно обычных фотографий. Если последовательность не читается без движения, я не рассчитываю исправить её эффектами. Калитка обозначает отправление, карта даёт ощущение пути, берег завершает прогулку. Другой набор может рассказывать о готовом пироге или собранном подарке; принцип выбора остаётся зрительным.
Я записываю для каждого исходника одну функцию. Длительности в таблице относятся к будущему монтажу. Это мой план, а не обещание получить от модели фрагмент ровно нужной длины.
Исходное фото · Место в истории · Возможное движение · Место в монтаже
Велосипед у калитки — Перед выездом — Едва заметное движение листьев на фоне — Первые 4 секунды
Руль и карта — Дорога выбрана — Очень мягкое приближение камеры — Следующие 4 секунды
Велосипед у воды — Приехали — Спокойная рябь на воде при неподвижном велосипеде — Последние 4 секунды
У карты есть тонкость: если на ней важен читаемый маршрут, даже мягкое приближение может оказаться лишним. Тогда я оставлю этот снимок неподвижным и задам длительность уже в редакторе. Клип не обязан двигаться в каждой точке. Пауза на детали иногда связывает начало и финал лучше ещё одного эффекта.
Прежде чем отправлять первый исходник, я проверяю набор:
на снимках нет случайных людей, которых не планировал включать в ролик;
важные предметы не обрезаны у края будущего кадра;
велосипед узнаётся по крупным признакам, а не только по маленькой наклейке;
нет почти одинаковых фотографий, которые отличаются лишь поворотом камеры;
выбран общий формат, подходящий площадке просмотра.
Общий формат не означает, что надо растянуть все фотографии. Если исходники разной формы, я заранее выберу кадрирование, поля либо другой вариант расположения в редакторе. Иначе на монтаже обнаружится, что у велосипеда отрезано колесо, а широкий вид берега превратился в узкий кусок воды.
Затем нейросеть оживляет фото для клипа
Для калитки и берега я воспользовался бы браузерным инструментом «Оживление фото»: его нужно искать среди возможностей раздела «Изображения». Это отдельная операция с прикреплённой фотографией. В приложении такого оживления нет; обычная переписка тоже не является местом генерации видео. Поэтому я открываю LibraChat в браузере, перехожу к изображениям и выбираю работу с фотографией.
Доступность видео зависит от тарифа. Перед серией попыток я посмотрю текущие условия и раздел тарифов после входа: мне нужно понять, доступна ли нужная операция в моём аккаунте. Количество попыток и длительность результата не стоит брать из чужого старого обзора. Под мой монтажный план подойдёт только тот фрагмент, который удастся проверить и при необходимости обрезать.
Для снимка у калитки я предложил бы такое описание движения:
Сохрани исходную композицию: велосипед стоит у калитки. Добавь только лёгкое колыхание листьев на заднем плане. Рама, колёса и калитка остаются неподвижными. Камера не меняет положение. Свободное пространство возле велосипеда оставь пустым; прохожие в этой сцене не нужны.
В таком запросе исходная фотография задаёт внешний вид сцены, а текст уточняет изменение во времени. Не нужно заново описывать велосипед как будто его ещё нет: лишние подробности могут вступить в противоречие со снимком. Зато полезно назвать детали, движение которых испортит смысл.
Для последнего кадра описание будет другим:
У колёс не меняются форма обода и положение спиц; руль, рама и сиденье не смещаются друг относительно друга. На воде появляется небольшая спокойная рябь. Берег, горизонт и камера неподвижны. Движение ровное, без внезапных событий и смены погоды.
Я начинаю с одного исходника, чтобы понять, подходит ли вообще характер движения. Если велосипед меняет форму, запускать всю тройку по той же схеме рано. Надо уменьшить сложность движения, выбрать другой снимок или оставить этот кадр статичным. Ни подробность запроса, ни число повторений не гарантируют точного сохранения каждой детали.
Перед сборкой смотрю фрагмент целиком
Красивое начало не доказывает, что последние секунды пригодны. Я просматриваю ролик от начала до конца, а затем отдельно задерживаюсь на середине и финале. У велосипеда сравниваю руль, просветы рамы и положение колёс. На берегу проверяю горизонт: неожиданная смена его наклона будет заметна при переходе с неподвижной карты.
Сомнительный участок полезно оценивать в контексте будущего монтажа. Если хороша только первая часть, можно использовать её. Но нельзя маскировать явную поломку формы быстрым переходом и считать задачу решённой: зритель может успеть её заметить, а общий ритм станет суетливым.
После выбора скачиваю пригодные ролики из галереи «Мои видео». Исходные снимки сохраняю рядом отдельно. Файлам дал бы понятные имена: «01-калитка», «02-карта», «03-берег». Они обозначают место в истории, а не оценку качества. Если появится второй вариант берега, добавлю обозначение версии, чтобы случайно не вернуть отклонённое движение.
В таблице отбора удобно оставить короткую причину решения: «рама стабильна», «карту оставляю фото», «последнюю часть обрезать». Тогда при возвращении к проекту не придётся снова выяснять, почему эффектный вариант не вошёл в ролик. Оценка «нравится» хуже помогает продолжить работу, чем конкретное наблюдение.
На монтажной шкале появляются два стыка
Скачать три фрагмента недостаточно: их нужно расположить последовательно и собрать в один файл. Для этой части подойдёт отдельный редактор. Например, в Clipchamp можно поставить изображения и видео на монтажную шкалу; документация Microsoft описывает работу с порядком материалов. Это функция редактора, а не продолжение чата LibraChat.
Я собрал бы первую версию так:
Импортировать выбранные ролики и неподвижную карту в один проект.
Расположить их в порядке «калитка — карта — берег», без случайных промежутков.
Обрезать начало или конец каждого ролика до пригодного участка. Для фотографии установить нужное время показа.
Проверить два соединения на обычной скорости. Сначала оставить простую смену кадра.
Добавить короткую подпись или музыкальную дорожку только после того, как зрительный ряд стал понятен.
Экспортировать ролик и просмотреть уже сохранённый файл целиком.
Если хочется плавного перехода, его можно добавить между соседними материалами. Microsoft отдельно описывает переходы и затухания в Clipchamp. Для моей короткой прогулки переход нужен только там, где он поддерживает спокойный темп. Три разных эффекта быстро перетянут внимание с велосипеда на работу редактора.
Длительность после обрезки и переходов я проверю заново. Запись «4+4+4» была отправной точкой, а не запретом поправить ритм. Если карта читается за более короткую паузу, сэкономленное время можно отдать берегу. При этом ролик не должен внезапно обрываться посреди движения воды лишь ради круглого числа.
Музыка способна замаскировать неудачный стык. Поэтому сначала я смотрю результат без звука и только потом подбираю сопровождение, которое могу использовать. Генерацию музыки или автоматическое попадание всех смен в ритм этот способ не обещает. Даже с выбранной дорожкой моменты переходов придётся согласовать в редакторе.
После экспорта возвращаюсь к трём фотографиям
В готовом файле проверяю, сохранилось ли главное из исходников: место отправления, карта и спокойное прибытие. Если зритель видит три несвязанных эффекта, дело может быть в самом наборе фотографий. Иногда полезнее убрать один снимок, чем пытаться соединить его ещё более заметным переходом.
Когда исходных кадров нет и сцену нужно придумать целиком, работа начинается с другого места. Такой подход разобран в материале о раскадровке клипа нейросетью. Здесь же фотографии уже ограничивают историю: я выбираю движение, которое помогает им, и сохраняю детали, ради которых эти снимки вообще были отобраны.
Возьми три фотографии одного события и прямо сейчас запиши возле каждой её роль в ролике. Для одного снимка предложи небольшое движение, второй разреши оставить неподвижным. А после сборки посмотри два стыка без музыки: если история читается и так, у клипа появилась опора, которую не нужно спасать эффектами.
