Как разобрать ошибки нейросети в видео по кадрам, отличить скачок камеры от изменения формы предмета и выбрать одну правку для следующей генерации.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Стеклянный шарик катится по глиняному желобу, а на изгибе оказывается выше бортика. В обычном темпе видно, что что-то дёрнулось. При остановке становится понятнее: стол и желоб остались на месте, а шарик оказался в воздухе ещё до поворота. Так я бы разбирал ошибки нейросети в видео: от первого подозрительного кадра, до того как в сцене накопились другие сбои.
Желоб и шарик здесь условные. У них есть удобные признаки для проверки: край стола, один изгиб дорожки и полоска света на стекле. Принцип подходит и к ролику с отъезжающей дверцей, и к сцене, где предмет скользит по столу. Для короткого эскиза можно оставить небольшую разницу в блике. Если положение предмета объясняет действие, его скачок важен даже в ролике на несколько секунд.
Как заметить первые ошибки нейросети в видео
Сначала я включаю ролик без замедления. В этом режиме понятно, на что зритель смотрит первым. Затем возвращаюсь немного назад и двигаюсь по кадрам обычным видеоредактором. Нужны два момента: последний кадр с непрерывным движением и первый, где изменилась опора или положение. При просмотре ролика целиком нелегко уловить порядок: меняется сразу несколько вещей, и громче всего виден последний скачок.
Что видно рядом · Где искать причину · Первая правка
В одну сторону двигаются стол, желоб и шарик — Сдвиг всего кадра — Упростить движение камеры
Стол и желоб стоят, а шарик стал овальным — Форма предмета — Сократить действие до одного прямого участка
Шарик сохраняет круг, но оказывается над бортиком — Связь с опорой — Уточнить контакт шарика с дном дорожки
Контуры совпадают, светлое пятно скачет по стене — Свет или изменение фона — Выбрать один источник света и оставить фон спокойным
Я бы сначала нашёл неподвижную отметку далеко от шарика, например дальний угол стола. Если одновременно с движением шарика сдвинулся угол, проверь другое место кадра. Может оказаться, что камера поехала, хотя в запросе обсуждался один предмет. Смена масштаба всего изображения тоже говорит в пользу движения камеры. Если угол остался там же, смотри, как меняется зазор между шариком и желобом.
Сравни кадры в одном проекте и с одинаковым масштабом просмотра. В двух разных окнах один стоп-кадр может открыться на всю ширину, а второй с чёрными полосами по бокам. Тогда край стола окажется в другом месте из-за просмотра. Я ставлю кадры на соседние позиции одной дорожки и переключаю между ними, чтобы видеть сдвиг внутри одной рамки.
Найди отрезок, где скачок заметен при нормальной скорости.
Выбери постоянную точку вне движущегося объекта.
Сравни опору и силуэт в соседних кадрах.
Блик бывает обманчивым ориентиром. На стекле он способен меняться, пока шарик сохраняет форму. В такой сцене я смотрю по тёмной нижней дуге, где шарик касается глины. Если край стекла читается, а увеличился только светлый участок, поменять движение предмета пока рано. Подержи на экране кадр перед сбоем и подпиши, что именно изменилось. «Появился просвет под шариком» даёт больше информации для повторной генерации, чем слово «дёргается».
Задай одну новую вещь в следующем запросе
Сначала я сделал бы простой прямой участок, на котором шарик катится при фиксированной камере. Для генерации новой сцены в LibraChat открой «Изображения» и выбери «Видео», если режим доступен на твоём тарифе. Держи на виду исходный запрос: если одновременно поменять время суток, цвет поверхности и направление движения, следующий ролик трудно сравнить с прежним.
Камера зафиксирована. Один круглый лиловый стеклянный шарик катится слева направо по дну прямого глиняного желоба на матовом столе. Шарик касается дорожки на всём пути. Обе стенки желоба остаются на одном месте. Мягкий свет сбоку. Один непрерывный план.
В официальном руководстве Runway для видео из изображения предлагают сначала описать самое важное движение. Кадр помогает задать композицию, а запрос уточняет действие и камеру. В примере мы используем только общий принцип: написать первое необходимое действие и добавить детали по одной. У моделей разные интерфейсы и возможности, а фраза о неподвижной камере сама по себе не гарантирует результат.
Если прямой путь получился, следующее изменение простое: оставь камеру и свет как прежде и верни изгиб. Только тогда можно увидеть, привязан ли сбой к повороту. Если шарик рано отрывается от глины, я бы сделал радиус изгиба шире или укоротил движение до входа на дугу. Для пробы полезно заранее выбрать, важнее ли показать весь путь или сам поворот. Этот выбор меняет, с какого места начинается ролик.
Подготовить описание сцены помогает разбор видео по текстовому запросу. В задаче со сбоем я оставляю небольшую запись рядом с названием каждого файла. «Закрепил камеру» и «вернул изгиб» достаточно, если других изменений не было. Когда в обоих вариантах изменился и цвет стола, это тоже стоит записать. Генерация может отличаться даже при одинаковой формулировке, поэтому один новый прогон подсказывает направление, но не доказывает причину.
Реши, нужен ли новый дубль всей сцены
Если скачок пришёлся точно на последние кадры и основное действие уже можно узнать, я сначала пробую короткий выход до него. Если шарик пропадает в середине поворота, конец отрезка не спасёт это действие. Тогда я генерирую его отдельно в более простом виде. При опоре на настоящую механику, например для инструкции к изделию, лучше сравнить с отснятым движением прототипа.
Оставь версию, в которой действие читается целиком до первого сбоя.
Сохрани два соседних стоп-кадра, если ошибка приходит внутри важного участка.
Пересмотри сокращённый фрагмент в обычном темпе. Проверь, виден ли конец движения.
При склейке я бы проверил край желоба слева. Небольшое изменение фона менее заметно, если важный предмет остаётся на прежней высоте. Резкий скачок бортика заново создаёт ощущение поломки, даже когда в каждом фрагменте движение само по себе плавное. В таком случае проще оставить удачный короткий план, а следующий кадр выбрать с иным масштабом, чтобы у зрителя было время увидеть переход.
Выбери прямо сейчас два соседних кадра в неудачном месте. Посмотри сначала на дальний угол стола, потом на зазор под предметом. Назови первый сбой одним предложением. На следующем дубле поменяй только то движение, которое мешает прочитать эту пару кадров.