Runway текст в видео: как описать сцену, чтобы она двигалась
Искал Runway, чтобы сделать видео из текста? Это статья LibraChat: чем описание для видео отличается от запроса на картинку и шпаргалка из шести блоков.
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
Сначала честно: это не Runway. Runway — компания, которая делает нейросети для видео, а ты читаешь блог LibraChat. Входа в Runway здесь нет. Но если по запросу «runway текст» ты ищешь, как превратить описание в короткий ролик, дочитай: в LibraChat тоже можно сделать видео по тексту, и ниже шпаргалка, как такой текст писать.
Я дизайнер и годами описывал кадры для картинок. Когда впервые попробовал описать видео, написал так же, как для картинки: «осенний парк, красный шарик на дорожке». И понял, что в этом тексте ничего не двигается. Картинка — это мгновение, а видео — пять секунд, в которых каждый кадр должен что-то делать. Тогда я попросил LibraChat описать сцену и заодно объяснить, чем запрос для видео отличается от запроса для картинки. Ответ оказался самой ясной инструкцией на эту тему, какую я видел.
Runway текст или запрос на картинку: в чём разница
Вот что ответил чат на мой вопрос, три пункта:
1. Время и движение. Для картинки достаточно «шарик на дорожке». Для видео нужно, что именно движется, как быстро и сколько это длится: шарик катится медленно все 5 секунд, листья кружатся непрерывно.
2. Камера — отдельное действие. В картинке ракурс статичный. В видео надо задать траекторию: слежение у земли, без зума и склеек, иначе кадр «застынет» или дёрнется.
3. Непрерывность. Картинка — один миг. В видео объекты не должны меняться между кадрами: один и тот же шарик, та же дорожка, без появления людей, текста и скачков формы.
Третий пункт я бы подчеркнул дважды. В картинке шарик может быть любым, главное — красивым. В видео он должен остаться тем же шариком все пять секунд. Если этого не сказать, в середине ролика он может сменить оттенок или форму, и глаз это сразу заметит.
Опиши сцену для генерации короткого видео по тексту, 5 секунд: осенний парк, по дорожке медленно катится красный воздушный шарик, листья кружатся, камера движется следом на уровне земли. Укажи, что в кадре, свет, движение камеры и чего в кадре быть не должно. Отдельно напиши, чем запрос для видео отличается от запроса для картинки, — 3 пункта.
Ответ пришёл блоками, как я и просил. Самым ценным для меня были два: свет и камера.
Свет. Золотой час, низкое боковое солнце, длинные мягкие тени, тёплый янтарь на листве, лёгкая дымка. Без вспышки, без резкого полудня, без ночи.
Камера. Плавное слежение на уровне земли, чуть сзади и сбоку от шарика, 5 секунд без склеек. Скорость ровная, как у медленной прогулки. Лёгкий параллакс листьев, никакого зума, тряски и поворотов на 180°.
«Скорость ровная, как у медленной прогулки» — это фраза, которую понял бы любой оператор. Я двадцать лет работаю с картинками и ни разу не описывал скорость: в статичном кадре её просто нет. Не цифры, а ощущение. И «параллакс листьев»: ближние листья проносятся быстрее дальних, и от этого появляется глубина.
Шпаргалка: шесть блоков, из которых состоит runway текст
Из ответа чата и своего опыта я собрал шпаргалку. Перед каждым запросом на видео я прохожу по этим шести блокам:
Блок · Что написать · Пример из моей сцены
Что в кадре — главный объект и окружение — красный шарик, грунтовая дорожка, кленовые листья
Что движется — объект и его скорость — шарик катится медленно, листья кружатся
Камера — траектория и чего не делать — слежение у земли, без зума и склеек
Свет — время суток и характер — золотой час, низкое боковое солнце
Длительность — секунды — 5 секунд
Запреты — что не должно появиться — люди, текст, другие шары, шарик не взлетает
Последний блок в видео важнее, чем в картинке. В картинке лишний предмет можно просто вырезать в редакторе. В видео он будет мелькать во всех кадрах, и убрать его почти невозможно. Чат перечислил в нём даже то, о чём я не подумал: «Шарик не взлетает, не лопается и не меняет форму по ходу ролика». Для картинки это лишнее. Для видео это то, что делает ролик цельным.
Ещё три сцены по той же шпаргалке
После шарика я описал по шести блокам ещё три сцены для знакомых. Привожу свои описания, чтобы было видно, как шпаргалка работает на разных задачах:
для кофейни: чашка капучино на деревянной стойке, над ней медленно поднимается пар, утренний свет из окна слева, камера стоит, 4 секунды, без людей и надписей;
для цветочной лавки: букет пионов в стеклянной вазе, лепестки слегка колышутся от сквозняка, мягкий дневной свет, камера медленно обходит вазу по полукругу, 5 секунд, без людей;
для поздравления: торт со свечами на столе, огоньки свечей дрожат, тёплый свет гирлянды на фоне, камера медленно приближается, 5 секунд, без людей и текста.
Каждое описание отвечает на шесть вопросов, и ни в одном нет слова «красиво». Это и есть вся хитрость: в видео надо назвать не только что видно, но и что меняется.
Раньше я описывал такие сцены как для фотографа, и в них всегда не хватало двух вещей: что движется и как движется камера. Однажды я отдал знакомому оператору описание «торт со свечами, тёплый свет», и он спросил: «А что в кадре происходит?» Вот тогда я и понял, чем видео отличается от картинки.
Как я проверяю описание до генерации
Видео делается дольше картинки, поэтому описание я проверяю заранее. Три вопроса к себе:
Могу ли я «прокрутить» ролик в голове? Закрываю глаза и считаю до пяти. Если на счёт «три» я не знаю, что происходит в кадре, описанию не хватает движения.
Нет ли противоречий? «Камера стоит» и «камера следует за шариком» в одном описании — частая ошибка, когда дописываешь по кусочку.
Понял бы оператор? Если бы я отдал этот текст живому человеку с камерой, ему пришлось бы что-то переспрашивать? Если да, это и надо дописать.
Описание шарика прошло все три проверки сразу, потому что чат разложил его по блокам. Мои собственные описания до шпаргалки проваливали первую проверку почти всегда.
Где в LibraChat делается видео по тексту
Описание сцены пишется в обычном чате, а сам ролик собирается в отдельном разделе. Порядок такой:
Открываешь раздел «Изображения».
Меняешь тип на «Видео».
Вставляешь описание сцены.
Ждёшь, пока ролик соберётся: он появится в галерее «Мои видео» и скачивается оттуда.
В самой переписке видео не создаётся: пункт «Генерируйте видео» в чате браузера просто откроет раздел «Изображения». В браузере там есть ещё «Оживление фото», когда ролик делается из твоей фотографии. В приложении на телефоне видео делается только из раздела, а оживления фото там нет.
Учти тариф: видео делается не на каждом, а HD-ролики сайт обещает на «Мастер+» и «Архитекторе». Перед первым роликом загляни на страницу тарифов, чтобы не удивиться.
Чего не обещаю
Пара честных оговорок, чтобы ожидания с самого начала были правильными:
ролик короткий: это секунды, а не фильм, и одна сцена, а не монтаж из нескольких;
звука нет: LibraChat не озвучивает, музыку и голос добавляют в другой программе;
с первого раза не всегда: если что-то не так, меняю один блок шпаргалки, а не всё описание;
присланное видео не редактируется: прикрепить свой ролик и попросить его переделать нельзя.
Если хочется начать не с текста, а с фотографии, у нас есть отдельная статья о том, как оживить фото нейросетью.
Посмотри, как текст становится движением
Запрос «runway текст» обычно набирают, когда в голове уже есть картинка, которая должна ожить. Возьми её и пройди по шести блокам: что в кадре, что движется, камера, свет, длительность, запреты. Открой чат LibraChat и попроси описать сцену по этим блокам. Потом отнеси описание в раздел «Изображения» и посмотри на результат своими глазами. Разница между картинкой и видео станет понятна с первого ролика.
runway текствидео по текстуописание сценыпромпт для видеокороткий роликLibraChat