Как загрузить картинку в нейросеть и разобрать схему
Как загрузить картинку в нейросеть и получить текстовое описание схемы. Подготовьте общий кадр и крупный план развилки, затем сверьте названия и стрелки.
Евгений
Дизайнер-партнёр LibraChat
6 мин чтения
На плане выставки длинная стрелка ведёт от входа к гардеробу. Рядом короткая указывает на зал. Они почти касаются друг друга на одной фотографии. В ответе по изображению легко получить маршрут, который склеит две стрелки в одну. Если нужно загрузить картинку в нейросеть, чтобы получить текстовое описание схемы, я сначала отмечаю место, где порядок можно перепутать. Затем готовлю два вида: весь план и этот поворот крупно.
Возьмём условный рисунок для временной выставки. У него одна входная дверь, маленький гардероб и зал в конце коридора. Нужно написать заметку от входа до зала для человека, который увидит указатели впервые. Я опираюсь на рисунок, сделанный самими организаторами. Для реального мероприятия направление стоит уточнить у тех, кто расставил таблички. По одному файлу нельзя узнать, закрыли ли дверь или переставили стойку.
Как подготовить изображение с трудной развилкой
На общем плане должно быть видно, откуда начинается путь. Сними или сохрани схему так, чтобы ни одна важная стрелка не выходила за край. Если там есть легенда, оставь её рядом. Второй кадр нужен для места, где стрелка начинается, поворачивает и заканчивается. Я бы вырезал его с запасом: если обрезать хвост и оставить только наконечник, направление можно прочитать по-разному.
Что приложить · Для чего это смотреть · Что должно остаться в кадре
Общий вид — Установить начальную и конечную точки — Вход, гардероб, зал
Крупный фрагмент — Разделить две стрелки — Оба начала и оба конца
Легенду, если она отдельно — Расшифровать вид линии или значок — Обозначение вместе с подписью
Проверь, читаются ли названия помещений на общем виде.
Найди самый тесный поворот и сохрани увеличенный фрагмент.
Подпиши у себя, какой кадр общий, а какой показывает развилку.
Крупный вид полезно открыть отдельно. Я снял бы его повторно, если на стыке линий видна тень от телефона. Тень иногда выглядит как продолжение стрелки. Если план лежит на столе, лучше снять его прямо сверху, чтобы одно направление не казалось короче другого из-за наклона. Сохрани исходник рядом с обрезкой. Тогда можно вернуться к соседней подписи, если её захотелось уточнить после ответа.
Как загрузить картинку в нейросеть и поставить задачу
В браузерной версии LibraChat файл можно перетащить в чат или вставить скриншот из буфера. В приложении используется плюс у поля сообщения, затем пункт «Фото или изображение». Если два снимка схемы не помещаются в одно сообщение, сверяй размеры с условиями своего тарифа и отправь общий вид первым. Крупный фрагмент можно добавить следующим сообщением того же разговора. О других задачах с вложением есть инструкция по загрузке фото.
Когда оба вида под рукой, скажи, что именно нужно получить. «Объясни картинку» может привести к перечислению всех блоков. Я бы дал модели одну роль: пройти от входа до зала по нарисованным стрелкам и назвать подписи, которые она действительно увидела. Для спорного места попроси сначала описать видимый фрагмент. Тогда можно проверить, откуда она взяла конкретное направление.
Если крупный снимок выглядит почти как отдельная схема, свяжи его с общим видом. Пусть в обоих кадрах остаётся хотя бы одна заметная подпись, например «Гардероб», вместе с краем стойки. Тогда можно показать, где именно расположен увеличенный участок. Когда в двух видах сходятся ориентиры, легче обсуждать короткую стрелку, не возвращаясь каждый раз ко всему маршруту.
На первом изображении общий план условной выставки, на втором — участок вокруг гардероба крупно. По видимым стрелкам опиши маршрут от «Входа» до «Зала» короткими шагами. Названия перепиши так, как они подписаны. Отдельно укажи, где начинается и заканчивается короткая стрелка рядом с гардеробом. Если подпись или конец стрелки плохо видны, обозначь это и попроси нужный фрагмент.
Затем открывай ответ рядом с рисунком. Я прохожу маршрут пальцем в том порядке, который указан в тексте. Если после слов «поверни к гардеробу» в ответе сразу появляется зал, посмотри, пересекаются ли их пути на схеме. Смешение может быть связано с двумя линиями одной толщины или похожими окончаниями. Полезнее переснять это место крупно, чем просить объяснить весь план ещё раз.
Сверь две подписи и один поворот
Для заметки гостю хватит того, что реально указывает направление. Проверь начало, конечную точку и поворот рядом с гардеробом. Если названия в ответе поменялись, верни точную подпись из картинки, прежде чем делать короткую версию. Если человеку важна сторона поворота, привяжи её к тому, как он стоит сразу после двери. «Поверните влево лицом к стойке» можно проверить на месте.
Сравни каждую важную подпись с её местом на общем плане.
Покажи на рисунке, где начинается следующая стрелка.
Отметь детали, которые требуют уточнения у организатора.
Если выяснилось, что надпись частично обрезана, добавь снимок небольшого участка и попроси поправить только один шаг. Не смешивай изменения схемы и сокращение текста в одном сообщении. Сначала восстанови порядок, затем убери лишние слова. Мне удобнее держать рабочую и короткую версии рядом, пока не проверена каждая точка. Тогда можно объяснить, откуда в памятке появился поворот к залу.
В короткой версии я бы заменил слова «по длинной стрелке» видимым ориентиром, если надпись должна работать без рисунка. Например, возле гардероба может висеть отдельная табличка с названием зала. Сверь, что она действительно там, прежде чем добавлять её в памятку. Для черновика можно оставить помету у поворота и убрать её после проверки на месте.
По тому же принципу можно разобрать инструкцию со стрелками, соотношение частей на рисунке или схему перемещения деталей. Смена предмета меняет вопрос к модели. Иногда важен порядок, иногда — то, какой значок связан с подписью. Если на картинке есть ключ к условным обозначениям, дай его рядом с фрагментом. Тогда ответ можно сопоставить с обоими видами, а всю схему держать открытой для контроля.
Прямо сейчас найди на своей картинке две стрелки, которые легко спутать. Сохрани общий кадр и крупный фрагмент. Когда нейросеть предложит текст, проведи пальцем от первого шага ко второму. Остановись в том месте, где человек мог бы свернуть не туда. Его стоит проверить первым.