Нейросеть для оживления фотографий: движение за стеклом
Нейросеть для оживления фотографий по-разному читает стекло, отражение и фон. Собери запрос по слоям кадра и проверь, где действительно происходит движение.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На фотографии остановки видно дерево, мокрое стекло и край жёлтой скамьи. Если попросить «оживи каплю возле дерева», в запросе ещё не определено, где находится эта капля. Она может быть на стекле перед камерой или на ветке вдали. Нейросеть для оживления фотографий получает один исходник. Поэтому я сначала подписываю, что на нём ближе, и только потом задаю движение. Иначе легко увидеть красивый ролик, где дождь идёт совсем не в том месте.
В моём эскизе зритель стоит внутри остановки и смотрит на улицу через стеклянную панель. Жёлтый край скамьи отражается на стекле. В первый момент я сам принял его за дорожную разметку. Положил на рисунок лист кальки и обвёл стойку, по которой можно узнать положение плоскости. После этого стало понятно, где капля должна остановиться и что в кадре нельзя смещать вместе с ней.
Что получает нейросеть для оживления фотографий
У исходника три глубины: область, где стоит камера, поверхность перед ней и улица дальше. На бумаге я нарисовал 3 прямоугольника. На первом обозначил отражение скамьи, на втором поставил точку капли и провёл линию стойки. На третьем оставил дерево и дорогу. Эти изображения лежали друг на друге. Движение на одном листе могло перекрывать область с другого, хотя в придуманных координатах они далеко друг от друга.
Область · Что вижу на снимке · Какой ориентир держит слой на месте
Стекло — Крупная капля и несколько мелких — Металлическая стойка между панелями
Отражение на стекле — Жёлтая линия вдоль нижней части — Та же линия остаётся возле видимого края панели
Улица за стеклом — Ствол дерева и серая дорога — Фон сохраняет положение относительно стойки
Внутри одного задания я ограничиваю движение одним слоем. Если движется капля, отражение и улица должны вести себя как фон. Если движется велосипедист за панелью, капли остаются на стекле на своих местах. Это похоже на простую проверку с плёнкой. Пока я сдвигаю один лист кальки, другие можно удерживать пальцем. На экране ищу похожий наблюдаемый признак: положение стойки относительно дерева сохраняется.
Перед формулировкой отмечаю на снимке карандашом:
Границу, по которой можно распознать ближний слой.
Путь движения и место остановки.
Предмет, который останется перед движением или за ним.
Если на фото нет явной границы, первую попытку лучше строить вокруг другого участка. Я пробовал мысленно переместить каплю к самому дальнему краю панели. Там стекло слилось с серым небом, и ориентир пропал. Рядом со стойкой было удобнее. Она отделяла надёжно видимую поверхность от размытого фона.
Два запроса для одного кадра
Для близкого движения я пишу, откуда капля ползёт и что видно вокруг. Представь, что зритель сможет остановить видео. Он должен заметить, как капля движется вдоль стойки, даже если фон похож по цвету.
Оживи приложенный снимок остановки. Единственная крупная капля находится на ближней поверхности стекла слева от металлической стойки. Она медленно скользит вниз примерно на ширину самой капли и останавливается на стекле. Сохрани положение камеры, отражённого жёлтого края скамьи и дерева за панелью. В конце капля всё ещё находится слева от стойки.
Для движения вдали я выбрал другой сюжет. Достаточно, чтобы за панелью медленно проехал велосипедист. Здесь важна очередность перекрытия: сначала силуэт виден справа от стойки, на миг скрывается за ней и остаётся за стеклом после появления с другой стороны. Без этой последовательности можно получить движение человека перед панелью.
Создай по приложенному снимку короткий ролик с видом изнутри остановки. Один велосипедист на улице проезжает справа налево за стеклом. Когда он пересекает положение металлической стойки, стойка закрывает силуэт. На передней поверхности стекла мелкие капли остаются неподвижными. Сохрани жёлтое отражение и неизменный ракурс скамьи. Заверши, пока велосипедист ещё виден вдали.
Оба описания предложены для пробы. Я проверяю в них простую вещь: действия происходят рядом с видимой границей, но каждый раз с другой её стороны. Это помогает и в домашних сценах. Если шевелится занавеска, она может закрывать выступ подоконника. Когда за окном едет машина, рама должна закрывать её. Ориентир можно увидеть непосредственно в картинке. От автора требуется указать, с какой стороны проходит действие.
Как проверить слои, когда ролик готов
Мои два предложения про стекло удобно сократить в чате LibraChat, прежде чем переносить их в поле генерации. Для самого видео в браузере включи «Оживление фото» в разделе «Изображения» и приложи снимок. Где находится настройка и как сохранить ролик, показано в инструкции по оживлению фото. Если собираешься сделать оба варианта движения, уточни доступ к видео в описании условий.
Я проверяю результат по трём моментам:
На старте сравниваю положение стойки, края отражения и ствола с исходником.
Останавливаю движение в середине и смотрю, что перекрывает что. Если капля вдруг оказалась перед стойкой, её плоскость могла измениться.
В конце сверяю неподвижный ориентир. Если вместе с объектом ушёл фон, возвращаю в запрос вертикаль, которую видно в исходнике.
На маленьком экране перебой иногда читается даже раньше, чем при просмотре на мониторе. Дерево чуть сдвинулось, и кажется, что вся остановка поехала. Мне удобнее в таком случае взять собственный исходный кадр и поставить рядом стоп-кадр. Если не получается решить, где именно случился сдвиг, я смотрю на один узкий участок вокруг стойки. Это быстрее, чем оценивать всю правдоподобность ролика разом.
Иногда я меняю путь самого движения. На фотографии одна сторона улицы может быть целиком закрыта щитом. Если попросить камеру выехать за него, в ролике появится кусок улицы, которого в исходных данных не было. В вымышленной сцене там может начинаться нарисованная улочка. Когда важно сохранить реальное место, я оставляю камеру у панели и веду велосипедиста только по видимому участку за стеклом. Край щита становится отметкой, после которой генератору пришлось бы придумать пространство.
Попробуй перед началом поставить две отметки на своём снимке. Первая показывает, где начинается движущийся предмет. Вторая отмечает границу, которая его перекроет или удержит. Уже из этих двух пометок можно собрать краткое описание и проверить его после получения видео.
оживление фотографийфото в видеостеклослои кадрапромпты для видео