Как создаются видео нейросетью: связь между кадрами
Как создаются видео нейросетью и почему предмет меняется в движении. Разбираем шум, визуальные представления и проверку игрушечного трамвая до и после преграды.
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
Жёлтый игрушечный трамвай уезжает за фиолетовую колонну и появляется с другой стороны. Для зрителя это один предмет, поэтому хочется увидеть прежний силуэт, окна и колёса. Вопрос, как создаются видео нейросетью, для меня начинается с этой связи. Красивый отдельный кадр ещё не показывает, что предмет останется узнаваемым после движения и перекрытия.
Я разберу несколько общих идей по опубликованным исследовательским описаниям Sora и VideoPoet. Это исторические примеры разных подходов, а не описание скрытого устройства любого доступного сервиса. Для иллюстрации возьму собственный замысел с игрушечным трамваем. Реальный ролик здесь не демонстрируется: нам нужно понять, какие вопросы задавать его будущему результату.
Как создаются видео нейросетью: что модель обрабатывает внутри?
Видео можно представить как видимую последовательность кадров, но внутренняя работа модели не обязана происходить с готовыми картинками в том же виде. В техническом отчёте OpenAI о Sora от февраля 2024 года описано сжатое визуальное представление. Оно делится на фрагменты, связанные с пространством и временем. После генерации специальное преобразование возвращает изображение в пиксели.
В том же отчёте Sora описана как диффузионная модель: она учится восстанавливать чистые фрагменты из зашумлённых с учётом условий, включая текст. У этого объяснения есть предел. По нему нельзя восстановить полный алгоритм или объявить, что каждая современная видеомодель устроена так же. Для автора сцены это основание аккуратнее относиться к образу «она просто дорисовывает следующий кадр».
Мне полезно различать три уровня разговора. Есть текст, который я отправляю. Есть внутреннее представление, про которое можно узнать только из документации конкретной модели. Есть готовый видеофайл, который я могу посмотреть. Неудачное движение трамвая видно на третьем уровне, но оно само не раскрывает точную причину ошибки на втором.
какой опубликованный подход сейчас рассматривается;
какие сведения о нём прямо даны авторами;
какие детали реализации остались неизвестны;
что можно проверить в полученном ролике независимо от архитектуры.
Такой список удерживает объяснение в границах источника. Я не определю по цвету кнопки, какой способ кодирования используется внутри сервиса. И не стану объяснять каждую деформацию предмета одним словом «диффузия». Для рабочего разбора сначала надо назвать сам видимый дефект, а не угадать его техническую причину.
Все ли видеомодели начинают с шума?
Есть и другие исследовательские подходы. В описании Google Research VideoPoet от декабря 2023 года видео и звук преобразуются в последовательности дискретных токенов. Авторегрессионная модель учится генерировать такие последовательности с учётом контекста, а декодеры возвращают их в просматриваемый материал. Это пример того, почему одно объяснение через постепенное удаление шума не охватывает все способы видеогенерации.
Мне как дизайнеру не нужно выбирать победителя между этими архитектурами по короткому описанию. Из источников следует более скромный вывод: слово «нейросеть» скрывает разные устройства. Когда сервис показывает движущуюся картинку, это ещё не сообщает, каким именно способом она получена. Для точного утверждения о модели нужна её собственная документация.
О чём спрашиваем · Где искать ответ · Что нельзя вывести только из красивого ролика
Как представлены кадры внутри — В исследовательском описании модели — Полный формат внутреннего представления
Какой способ генерации применён — В технической документации — Название архитектуры по внешнему виду
Сохраняется ли игрушечный трамвай — В просмотре самого файла — Гарантию сходства всех будущих попыток
Подходит ли материал для замысла — В проверке по заранее выбранным признакам — Универсальное качество сервиса для любой задачи
Последние две строки возвращают меня к изображению. Можно не знать внутреннюю архитектуру и всё же заметить, что трамвай после колонны стал автобусом. И наоборот, знание красивого технического термина не делает такой ролик подходящим. Оценка видимой связности остаётся отдельной частью работы с материалом.
Почему трамвай может выйти из-за колонны с другими окнами?
В отчёте Sora сохранение объектов во времени рассматривается как существенная задача, а возможности и ограничения описаны отдельно. Это не обещание безошибочной физической сцены. Для нашего примера я поэтому заранее выберу несколько узнаваемых признаков: жёлтый корпус, округлую крышу, ряд тёмных окон и красную полосу внизу.
Колонна на время скрывает эти признаки. Когда трамвай появляется снова, зритель сопоставляет его с тем, что видел до перекрытия. Если форма крыши или полоса изменились, связь нарушается. Это наблюдение о нашей придуманной сцене. Оно не доказывает, что у модели есть или отсутствует человеческое понимание скрытого предмета.
Можно сначала упростить замысел: показать движение мимо колонны так, чтобы часть корпуса оставалась видимой. Тогда проверка будет другой. Но я бы не менял условия после просмотра только для того, чтобы назвать любой результат удачным. Лучше заранее решить, насколько важно полное исчезновение трамвая и какой именно эффект оно должно дать зрителю.
Движение камеры добавит ещё одну переменную. Если камера тоже огибает колонну, сравнить положение и размер станет сложнее. Для первого разбора я оставлю её неподвижной. Так легче проследить один объект относительно одной преграды. Позже можно придумать более сложный кадр, уже понимая, какая связь в нём важнее всего.
Перед практической пробой игрушечного трамвая сопоставь создание нового видео с возможностями своего тарифа. Доступ к пользовательскому режиму не сообщает архитектуру работающей внутри модели.
Что проверит автор короткой сцены без знания внутреннего кода?
Я начну с описания события, которое должен увидеть зритель. Трамвай движется слева направо, проходит за колонной и продолжает путь. Затем запишу сохраняемые признаки и границы кадра. Это ещё не команда на точное покадровое воспроизведение. Это основа для решения, подходит ли будущий материал к моей маленькой истории.
Как связать такое событие с авторским запросом, рассматривается в статье о переходе от описания к ролику. Для трамвая здесь особенно важны признаки до и после колонны.
Для просмотра такой сцены предлагаю порядок:
Рассмотреть трамвай до приближения к колонне.
Проследить направление движения и момент перекрытия.
Остановить изображение сразу после появления с другой стороны.
Сравнить крышу, окна и нижнюю красную полосу.
Посмотреть фрагмент целиком, чтобы увидеть непрерывность скорости.
Если обнаружится изменение, я запишу его конкретно: после перекрытия исчезла полоса или крыша стала выше. Такая заметка полезнее слов «модель не поняла физику». Она описывает проверяемую проблему и позволяет пересмотреть сложность сцены. При этом один удачный трамвай не станет доказательством, что все следующие предметы будут сохраняться одинаково хорошо.
Для воображаемого проезда трамвая я могу подготовить новое видео по описанию в LibraChat; отдельная фотография игрушки пригодится для браузерного режима оживления исходного снимка. Эти пользовательские возможности не раскрывают архитектуру выбранной видеомодели. Разбор исходного загруженного видео также не следует из возможности генерировать новое. Для своей сцены я планирую именно создание материала, а не исследование чужого файла.
Признаки игрушки после преграды попробуй перечислить в чате LibraChat: крыша, окна, цвет корпуса и нижняя полоса. Этот список задаёт проверку будущего материала независимо от исследовательского описания модели.
Как создаются видео нейросетью, можно изучать глубже по конкретным техническим публикациям. Мой следующий авторский шаг проще: остановить сцену сразу после колонны и сравнить трамвай с началом. В этот момент становится видно, сохранилась ли именно та связь кадров, ради которой была придумана преграда.