Как работает нейросеть, понимающая видео. Задай вопрос о порядке действий, попроси показать основание ответа и сверь событие в исходном ролике.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
«Двигай дальше», говорит человек за кадром. Из текста понятно, что он дал команду. По нему ещё нельзя сказать, пересекла ли прозрачная линейка синюю отметку на столе. Нейросеть, понимающая видео, может ответить на вопросы о видимом действии, если выбранный режим поддерживает анализ ролика. Я задам один вопрос о порядке трёх событий и сверю ответ с исходным кадром. Такой способ пригодится, когда по одному аудио не видно, что в действительности произошло.
Нейросеть, понимающая видео: что попросить заметить
Сделай короткий нейтральный фрагмент. Я приклею кусок синей бумаги к столешнице так, чтобы он оставался открытым с обеих сторон линейки. Рука передвигает прозрачную линейку, на миг закрывает нужный угол и отходит. Я спрашиваю, когда край оказался справа от метки и было ли это до того, как рука закрыла край. Просить пересказать всю сцену удобнее после точного вопроса. В пересказе маленькое движение может потеряться, хотя оно и есть причина проверки.
Вопрос · Что должно быть видно · Как подтвердить ответ
Когда край пересёк полоску? — Край линейки и обе стороны метки — Найти кадр в плеере
Рука закрыла край раньше или позже? — Последовательность движения — Проверить момент перекрытия
Что прозвучало рядом с событием? — В видео есть доступная речевая дорожка — Отдельно прослушать фразу
Почему линейка двигалась? — Видимое действие или голос объясняет причину — Оставить причину неизвестной, если оснований нет
Иногда камера смещается вместе с рукой и создаёт ощущение движения линейки. В вопросе назови ориентир, который сам остаётся на столе. Синяя полоска выполняет эту роль. Если кадр специально снят с двух сторон, добавь вид сверху как второй короткий фрагмент той же записи. При такой задаче модель должна сказать, по какой видимой детали был сделан вывод. Это легче сверить, чем общую фразу «линейка переместилась».
Проба в Gemini и один проверяемый запрос
В справке Google описано прикрепление файла к беседе Gemini Apps. На компьютере можно выбрать загрузку с устройства, приложить короткий поддерживаемый ролик и написать вопрос. Текущие ограничения по длительности и размеру указаны в официальной справке. Подготовь только нужный отрезок, в котором можно увидеть метку и край. Справка Gemini Apps по прикреплению и анализу файлов.
Посмотри на прикреплённое видео. Запиши в порядке появления только видимые события: движение линейки к синей полоске, перекрытие рукой и положение края после того, как рука ушла. Укажи примерные интервалы от начала фрагмента и объясни, на какие детали опираешься. Если пересечение закрыто, отметь, что момент напрямую не видно.
Попроси три свойства ответа:
Интервал отсчитывается от начала приложенного фрагмента.
Пояснение к событию называет положение линейки относительно синей метки либо руки.
Событие, которого не видно, описано как неизвестное с возможным интервалом.
Если получили только пересказ речи, уточни, что тебя интересует состояние линейки относительно полоски. По слову «дальше» нельзя понять сторону. Для звуковой задачи оставь просьбу о стенограмме отдельно и приложи её как текст для монтажа. Две короткие записи тогда можно поставить рядом. В одной будет сказанное, в другой увиденное.
Как подтвердить порядок и примерные метки времени
Открой файл в обычном плеере. Найди последнюю точку, где виден край до перекрытия.
Найди первый кадр после того, как рука ушла. Поставь рядом положение линейки относительно полоски.
Если во время перекрытия обоих краёв не видно, сохрани интервал между этими кадрами. Для точного момента понадобился бы другой ракурс.
У длинной записи и короткой копии может быть разный отсчёт. Если ты вырезал тридцать секунд в середине, отметки ответа отсчитывай от начала этого отрезка. Укажи отдельно его положение в полной записи. При перепроверке нескольких действий это важнее, чем округление самого интервала. Иначе можно найти похожее движение линейки далеко от нужного момента.
Такой разбор поможет выбрать отрезок для короткой учебной инструкции. Если зрителю нужно видеть сам переход через отметку, пересними одну часть с другой стороны. Если хватает результата до и после, оставь в сценарии два видимых положения. При ответе на вопрос «почему» не стоит добавлять мотив из догадки, если на видео есть только действие руки. Объясняющий текст можно написать отдельно с материалами автора.
Если два коротких фрагмента противоречат друг другу
В одном ракурсе дальний конец линейки может закрыть край синей полоски. В другом она видна полностью, но рука уже отошла. Я подпишу, что относится к каждому виду. Сначала проведу время до момента совпадающего положения, затем проверю первый видимый кадр следующего фрагмента. Если ролики сняты в разные дубли, их лучше не соединять в одно доказательство. Повтор мог пройти с немного другой скоростью или вообще в другую сторону.
Для краткого объяснения полезно взять два настоящих стоп-кадра и поставить рядом. На одном край ещё слева, на другом уже справа. Попроси назвать изменение и дать отдельную пометку, что время перехода приходится на промежуток. В новом вопросе можно сослаться на эту пару. Модель тогда сможет объяснить различие явно. Когда нужен один точный кадр для монтажа, выбирать его стоит в оригинальном видео, где доступен весь отрезок между двумя скриншотами.
Если просишь разобрать ролик без речи, добавь это в первую строку. Нам важна последовательность видимых положений. После ответа проверь подпись для кадра: отдельно «рука закрывает метку» и отдельно «линейка была передвинута». Первая фраза говорит о том, что случилось в видимой части. Вторая требует увидеть разные положения до и после. Так можно исправить короткую запись, даже когда всё видео уже снято.
При повторном просмотре убери прежний ответ с экрана. Найди самую раннюю отметку, которую можешь проверить. Запиши её вместе со способом расчёта, от начала файла или от начала вырезки. Позже этот короткий текст поможет вернуться к точному месту без пересказа события целиком.