Нейросеть-редактор: оживить фото — под такой задачей легко смешать две операции. Сначала стоит исправить неподвижную картинку, затем задавать ей движение. Я понял это, когда набрасывал ролик с игрушечной парусной лодкой. В плане она спокойно качалась на месте, а на выбранном снимке позади корпуса тянулся длинный след. Вода уже рассказывала о движении вперёд, которого я не хотел.
Я сначала усложнил описание: лодка остаётся возле блика, камера смотрит сбоку, корпус только наклоняется. Потом вернулся к самому кадру. Зачем просить генератор удерживать предмет, если фотография настойчиво предлагает ему ехать? Для нового замысла разумнее подготовить другой вариант исходника и лишь после этого пробовать анимацию.
Почему нейросеть-редактор: оживить фото — это две задачи
У неподвижной фотографии есть признаки действия: вытянутый брызговый след, смазанная кромка, наклон предмета, линии на фоне. Они помогают человеку представить, что происходило до съёмки. Когда замысел ролика совпадает с ними, это полезно. Когда замысел другой, возникает противоречие ещё до первой попытки.
В официальном руководстве Runway отдельно разобраны подобные подсказки движения. Исходное изображение задаёт начало сцены, а заметный смаз или след может спорить с текстом. Авторы рекомендуют рассмотреть правку изображения перед генерацией, если это мешает нужному движению. Это основание проверить исходник, а не обещание, что любая анимация после ретуши станет точной.
В моей карточке лодки задачи разделились. Для редактора фотографии нужно убрать вытянутый след, сохранив корпус и парус. Для будущего ролика — задать небольшое покачивание. Я больше не требую, чтобы видео одновременно ремонтировало воду и показывало движение игрушки. Каждую операцию можно оценить отдельно.
Что я оставляю у лодки и меняю у воды
Перед исправлением воды я сохраняю отдельную версию с узнаваемым силуэтом игрушки. Оригинал нужен для сравнения формы игрушки, даже если фон будущего ролика будет вымышленным. При правке легко получить спокойную воду вместе с новым бортом или другой мачтой. Визуальная аккуратность всей картинки не отвечает на вопрос, сохранился ли нужный предмет.
