Нейросеть поиск по картинке: как я нашёл бабушкину люстру
Нейросеть поиск по картинке ведёт иначе, чем обычный поиск: сначала называет вещь, потом ищешь сам. Разбор на люстре со старого фото и настоящий ответ LibraChat.
Евгений
Дизайнер-партнёр LibraChat
7 мин чтения
За один вечер я нашёл в продаже люстру, почти такую же, как висела у бабушки в гостиной. От неё осталась только старая фотография, где люстра видна над столом, немного в расфокусе. Обычный поиск по картинке выдал мне сотни похожих светильников, и ни один не был тем. Сработало другое: сначала я попросил нейросеть назвать вещь, а потом уже искал по названию. Ниже весь путь, настоящий ответ LibraChat и почему «нейросеть поиск по картинке» работает лучше, если не просить её найти, а просить назвать.
Почему обычный поиск по картинке не помог, а нейросеть помогла
Сначала я попробовал обычный путь и загрузил снимок в поиск по картинке. Поиск по картинке сравнивает формы и цвета. Он видит «что-то золотистое с рожками» и показывает всё золотистое с рожками. Люстры из строительного гипермаркета, бра, даже канделябры.
Проблема в том, что вещь со старого фото снята плохо. Свет жёлтый, резкость слабая, половина подвесок не видна. Для сравнения картинок это мусор. А для человека, который знает, как такие вещи называются, этого достаточно.
Я дизайнер, и я знаю этот приём по работе. Однажды я полдня искал заказчику кресло по размытому фото, пока коллега не сказал одно слово: «коктейльное». Дальше поиск занял 10 минут. Когда заказчик приносит размытую фотографию «вот такой стул хочу», я сначала называю стиль, материал и эпоху. Дальше поиск идёт по словам, и результаты сразу становятся точными. Здесь мне нужен был такой же «знающий человек».
Шаг 1: описать вещь, которую видишь
Нейросеть можно спросить двумя способами. Прикрепить фото к сообщению, и LibraChat ответит по тому, что на нём видно. Или описать вещь словами.
Фото у меня было тёмное, люстра на нём занимала маленький угол. Поэтому я начал с описания и вложил в него всё, что видел и помнил:
Описание заняло у меня минуту. Если вещь на фото видна хорошо, проще прикрепить снимок. На ноутбуке я просто тяну файл в окно переписки, а если это скриншот, жму Ctrl+V. В приложении нажимаешь плюс у поля ввода и выбираешь «Фото или изображение» или сразу «Камера», если вещь перед тобой. К фото я дописываю тот же вопрос: «как это называется и какими словами искать». Без вопроса ответ может уйти в описание того, что на снимке, а мне нужно именно название.
Шаг 2: спросить не «где купить», а «как называется»
Помоги найти по описанию: на старом фото из бабушкиной квартиры люстра, латунная, пять рожков в виде свечей, со стеклянными подвесками-каплями. Как она называется и какими словами искать такую в интернете?
Ответ начался ровно с того, чего мне не хватало, с названия:
Это классическая рожковая люстра (она же пятирожковая, «свечная»): от центра расходятся изогнутые рожки-подсвечники, на концах — патроны под лампы-свечи, а снизу и по каркасу висят стеклянные подвески-капли.
Дальше LibraChat сделал то, что сделал бы опытный продавец в антикварной лавке. Предположил, что в бабушкиной квартире это скорее советская модель и металл мог быть не чистой латунью, а «под бронзу». И дал готовые фразы для поиска, например:
`люстра 5 рожков свечи подвески`
`советская люстра 5 рожков висюльки`
`люстра СССР 5 рожков`
Последнюю, короткую, он советовал для сайтов объявлений. А ещё предупредил, с чем не путать: «каскад» — это ярусы висюлек почти без отдельных рожков. Я бы и сам не догадался, что половина моих неудачных поисков уходила как раз в каскады.
И честная оговорка в конце ответа мне понравилась больше всего: без снимка точную модель не назвать, таких люстр выпускали много. Это не отказ помочь, а правильная рамка. Название даёт направление, а дальше смотришь глазами.
Нейросеть, поиск по картинке и почему «назвать» сильнее
Здесь та самая неожиданная связь, ради которой я и пишу этот текст. Поиск по картинке и поиск по словам кажутся двумя способами сделать одно и то же. На деле они отвечают на разные вопросы. Картинка отвечает на вопрос «что похоже на это?». Слова отвечают на вопрос «что это такое?».
Похожего в мире бесконечно много. А название сужает поиск сразу в сотни раз. Стоит узнать, что твоя «золотистая штука с рожками» называется определённым образом, и вместе с названием приходят стиль, эпоха и слова, которыми её описывают продавцы. Продавцы ведь тоже пишут объявления словами, а не картинками.
Поэтому я теперь всегда начинаю с вопроса «как это называется», даже если фото отличное. Нейросеть поиск по картинке в моём понимании делает именно это: превращает картинку в слова.
Шаг 3: искать по словам, а не по картинке
Дальше всё просто. Я взял фразы из ответа и пошёл с ними на сайты объявлений и в интернет-магазины. Разница с поиском по картинке оказалась огромной:
· Поиск по картинке · Поиск по словам из ответа
Что выдаёт — Всё похожее по форме и цвету — Вещи нужного типа и стиля
Сколько смотреть — Сотни случайных светильников — Несколько десятков по делу
Винтажные вещи — Почти не находит — Находит на сайтах объявлений
Если фото плохое — Результат хуже — Не зависит от фото
Первой по длинной фразе нашлась новая люстра в том же стиле. Похожа, но не та: слишком блестящая, без потёртостей. Тогда я взял короткую фразу для объявлений, «люстра СССР 5 рожков», и через 30 минут нашёл почти такую же, с теми же каплями.
Как я понял, что ответ правильный
Ответ нейросети я не принял на веру. Взял первое название из него и открыл картинки в обычном поиске. На третьей строке выдачи была люстра с теми же рожками-свечами и теми же каплями. Не точно такая же, но явно из одного семейства.
Это и есть проверка, которую я советую делать всегда. Название из ответа — это гипотеза. Картинки по этому названию — её проверка. Если на картинках вещи того же типа и стиля, гипотеза верна, можно искать дальше. Если нет, возвращаешься в чат и добавляешь деталь: «у моей подвески не капли, а длинные призмы».
Мне хватило одной проверки. У знакомой, которая так искала деталь от старой кофемолки, ушло три уточнения. Но и это быстрее, чем листать сотни похожих картинок.
Что можно найти тем же способом
Тот же порядок работает почти с любой вещью, у которой есть название, но ты его не знаешь:
Деталь от старой мебели или сантехники, которую нужно заменить.
Растение на подоконнике у друзей.
Узор на ткани, который хочется найти для штор.
Посуда из сервиза, от которого остались две чашки.
Каждый раз схема одна. Сначала нейросеть называет вещь и даёт слова для поиска. Потом ты ищешь сам и сравниваешь глазами.
Где нейросеть не заменит поиск по картинке и по словам
Скажу спокойно, чтобы не было завышенных ожиданий. Нейросеть называет вещь и подсказывает слова. Конкретное объявление, цену и наличие в магазине ты проверяешь сам: что сейчас продаётся, знают сайты объявлений и магазины.
И название стоит перепроверить. Если ответ говорит «люстра в таком-то стиле», открой картинки по этому названию и сравни с фото. Совпали форма и детали, значит, ищешь в правильном направлении.
Мне для этого поиска хватило бы и бесплатного «Искателя»: вопрос и ответ текстом. Фото к сообщению там тоже прикрепляется, просто допустимый размер файла меньше, чем на платных. Остальные различия — на странице с ценами.
Итог: люстра висит
Та, что с сайта объявлений, теперь висит у меня над столом. Она не бабушкина, конечно. Но когда вечером включаешь свет и капли дают те же блики на потолке, становится понятно, ради чего был этот вечер.
Если у тебя есть такая вещь на старом фото, попробуй тот же путь. Опиши её словами или прикрепи снимок, спроси, как она называется, и только потом ищи.
нейросеть поиск по картинкенайти вещь по фотоинтерьервинтажные вещичто на фотоLibraChat
