Как нейросеть создаёт видео по текстовому описанию: пять вещей из текста

По центру неспешно идёт девушка в тёмном пальто, над ней раскрытый жёлтый зонт; с ветвей медленно срываются листья и кружатся в воздухе.

Это кусок описания сцены, по которому нейросеть делает короткое видео. Как нейросеть создаёт видео по текстовому описанию? Она читает текст как раскадровку: кто в кадре, что делает, где это происходит, как движется камера и какой свет. Из этого собираются несколько секунд движения. Чем точнее описаны эти пять вещей, тем меньше нейросети приходится додумывать.

Если совсем коротко: нейросеть подбирает кадры так, чтобы каждый совпадал с описанием, а соседние плавно переходили друг в друга. Отсюда и требование к тексту. Ему мало сказать, что в кадре, нужно сказать, как это меняется со временем.

Что нейросеть берёт из текста

Представь, что ты объясняешь сцену оператору, который ни разу не был на площадке. Ему нужно знать пять вещей, и видео по тексту требует ровно их же:

• кто в кадре и как выглядит: девушка в тёмном пальто с жёлтым зонтом;
• что происходит: идёт неспешно, падают листья;
• где: осенний парк после дождя, мокрая аллея;