Удаление объектов на видео: что дорисует нейросеть
Удаление объектов на видео с помощью нейросети: какими кадрами проверить фон, когда выбрать заполнение в After Effects и почему иногда проще переснять план.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
Я остановил ролик на середине, и стол выглядел чисто. Запустил дальше, и на месте жёлтой салфетки пошла мелкая дрожь. Хороший отдельный кадр легко принять за хорошее удаление объектов на видео. Но у заплатки должно быть продолжение во времени. Для начала я проверю не самую красивую секунду, а ту, где через салфетку проходит край руки или отражение.
Коротко: при исправлении своего видео посмотри, видно ли окружающий фон на соседних кадрах. Попробуй обрезку для предмета у края. При заметном перекрытии оцени, можно ли переснять. В After Effects заполнение прозрачной области создаёт отдельный слой. Результат нужно проверить в движении и в размере готового ролика.
Что искать под предметом?
Снимали демонстрацию керамики. Камера медленно движется вдоль дубового стола. Салфетка лежит слева, а рядом с ней проходит большая естественная линия древесины. На первых секундах её видно почти целиком. Когда камера подъезжает ближе, край салфетки пересекается с подошедшей рукой. К этому месту я вернусь после первой обработки.
Сначала поставлю три отметки в монтажной программе.
Предмет только вошёл в поле зрения. Здесь нужно увидеть форму участка фона и его границы.
Предмет занимает больше места. Я смотрю, есть ли вокруг детали, которые могут продолжиться под ним.
Рука проходит рядом или перед ним. Этот момент может потребовать другой маски или выбора другого дубля.
Если предмет у самого края, обрезка иногда занимает минуту. На пробе кадр выйдет чуть теснее. Проверь, не исчезла ли часть изделия и не нужно ли оставить свободное поле для надписи. Если переснять легко, сначала стоит оценить эту возможность. Дрожащая заплатка на дереве может привлечь больше внимания, чем сама салфетка.
Что видно в кадре · С чего начну · На что посмотрю при движении
Предмет почти касается внешнего края — Обрежу кадр на копии — Изделие целиком остаётся в кадре
Видна поверхность вокруг предмета, рука далеко — Попробую маску и заполнение — Заплатка продолжает направление дерева
Рука закрывает часть предмета — Проверю самый короткий участок пересечения — Пальцы целиком видны над столом
Изделие постоянно закрывает тот же участок — Сравню другой дубль или пересъёмку — Под рамкой не появилось выдуманное ребро
Эта таблица применяется к нейтральным деталям в собственном ролике. Если предмет был важен для того, что происходило, правка может поменять смысл. В демонстрации салфетка мешает композиции, а руку, которая вращает изделие, нужно вернуть в каждом кадре.
Как попробовать удаление объектов на видео в After Effects?
Adobe описывает Content-Aware Fill как заполнение прозрачной области с использованием изображения текущего кадра и соседних. Разные методы рассчитаны на разные ситуации. Для плоской поверхности можно начать с Surface. Для движущегося объекта в справке рекомендуют Object. Я смотрю на ожидаемое поведение фона, потому что режим всё равно нужно проверить на конкретном отрезке. Руководство Adobe по Content-Aware Fill.
В моём примере я помещу ролик в композицию и обведу салфетку маской. У маски выберу вычитание, чтобы область стала прозрачной. Затем просмотрю, где её нужно поправить по мере движения камеры. Если с начальным контуром салфетка выходит за границу на последних кадрах, край будет виден после заполнения. Когда маска захватывает палец, он тоже сотрётся. Эту ошибку лучше заметить до запуска.
Открой панель Content-Aware Fill через меню окна и посмотри, правильно ли обозначена прозрачная область.
Задай небольшой рабочий диапазон вокруг момента, который хочешь проверить. Выбираю его с несколькими кадрами до и после пересечения, чтобы оценить переход.
Запусти Generate Fill Layer. Программа добавит слой заполнения поверх исходника.
Просмотри слой с включённым исходным видео. Если граница выдаёт себя, сравни кадры до пересечения, в момент пересечения и после.
Просмотра стоп-кадров мне мало. На одном белое пятно может сливаться с отражением, а при движении возвращаться через каждые несколько кадров. Я запущу воспроизведение и прослежу за полосой дерева, которая входит под маску. Если полоска на заплатке перемещается отдельно от остального стола, мне придётся уточнить границу или подобрать другой диапазон.
Что сделать, если заполнение всё ещё заметно?
Проверю, что именно изменилось. Салфетка осталась по краю? Подправлю маску до того, как трогать сам режим. Слои сильно отличаются по яркости на нескольких кадрах? На пробе посмотрю, подходит ли коррекция освещения. При сложном фоне Adobe также описывает опорный кадр, который можно поправить отдельно. Для инсценировки на столе с отчётливым узором я всё равно сравню затраты с пересъёмкой. Передать реальную структуру дерева на сложном движении иногда дороже, чем убрать салфетку и снова снять руку.
Как сравнить обработку и новый дубль?
Если стол ещё стоит и свет не менялся, открою самый первый кадр и повторю положение камеры. Перед полной записью сниму несколько секунд чистой поверхности. На новом фрагменте проверю, узнаётся ли прежнее направление света и видны ли те части изделия, к которым уже привязан соседний план. Когда после пересъёмки приходится менять ещё три кадра, короткая ретушь может оказаться разумнее.
У сложного отрезка я просмотрю обе версии в том масштабе, в котором их увидит зритель. Сначала включу обычную скорость. Тот стык, который удаётся заметить только на увеличенной паузе, и пятно, которое пульсирует в небольшом окне, требуют разных решений. Потом поочерёдно остановлю обе версии рядом с рукой. Если на обработанной отчётливо пропадает часть пальца или край изделия, выберу другой исходник даже при удачной текстуре дерева.
Если у меня только идея нового ролика, в LibraChat можно подготовить другую сцену по описанию. В разборе того, как работает генерация видео объясняется, откуда берутся новые кадры. Если же нужно сохранить текущий ролик с тем же движением руки, монтаж и маска остаются в видеоредакторе. Планы по созданию отдельных сцен удобно сверить со страницей тарифов LibraChat.
Прямо сейчас выбери в своём ролике одну сложную секунду и посмотри, что проходит перед предметом или за ним. Если нужно составить короткую памятку по проверке, открой LibraChat и опиши кадр словами. Первый тест я бы сохранил отдельно от оригинала. Тогда можно переключаться между двумя вариантами и проверить, стоит ли вообще оставлять обработку.