Лучшие нейросети-агенты: как выбрать за два запроса, а не по рейтингу
Лучшие нейросети-агенты не найти в рейтинге: пять ошибок выбора, проверка на задаче с известным ответом и вопрос, где честный агент скажет «не знаю».
Марина
Контент-маркетолог LibraChat
7 мин чтения
Главная ошибка при выборе нейросети-агента — смотреть, кто красивее пишет отчёт. Длинный уверенный отчёт с таблицами выглядит как работа, даже если в нём неверная арифметика и выдуманные причины.
Лучшие нейросети-агенты узнаются по-другому. Проверяемое они считают верно, предположения помечают, а на вопрос без данных отвечают «не знаю». Всё это видно за два запроса, и ни один из них не требует разбираться в технологиях.
Первая ошибка: верить чужому топу лучших нейросетей-агентов
Рейтинг агентов собирают под чужие задачи. Кому-то важен поиск по новостям, кому-то код, кому-то красивый отчёт для начальства. Твоей задачи там может не оказаться вовсе.
А сравнить в рейтинге проще всего то, что видно сразу: скорость, длину отчёта, число функций. Честность так не измеришь. А именно она решает, можно ли нести отчёт дальше без перепроверки каждой строки.
К тому же агент работает цепочкой: делит задачу, собирает данные, сводит их в вывод. Ошибка на любом звене портит отчёт, и снаружи её не видно, пока не проверишь сам.
Значит, рейтинг годится как список имён, а не как оценка. Возьми из него двух-трёх кандидатов под свой тип задач: отчёты по открытым данным, сравнение вариантов, разбор цифр. Проверки ниже рассчитаны как раз на агентов, которые собирают отчёт. Какие это проверки?
Вторая ошибка: проверять на задаче без известного ответа
Если правильного ответа не знаешь ты, оцениваешь ты не агента, а его уверенность. Поэтому первый запрос — с данными, где ответ известен заранее. Мой был таким, его можно брать целиком и менять цифры на свои:
Выручка кофейни по месяцам: январь 320 тысяч рублей, февраль 290, март 350, апрель 410, май 380, июнь 460. Найди месяцы спада, посчитай рост с января по июнь в процентах, предложи две возможные причины спада и пометь, что в ответе посчитано, а что предположено.
Ответ я знаю сама: спады в феврале и мае, а рост за полгода — это 460 минус 320, делённое на 320, то есть 43,75 %. Агент должен сойтись со мной в каждой цифре.
Где взять такую задачу для своей работы? Из прошлого. Отчёт, который уже сделан руками. Сравнение, выводы которого уже подтвердились. План, по которому уже видно, что сработало. Дай агенту те же исходные данные и сравни его ответ со своим.
Такую проверку можно устроить любому кандидату, даже обычному чату. Я отправила запрос в обычный чат LibraChat, не в режим агента: так проверка честнее, у ответа нет форы. Арифметика сошлась:
Рост с января по июнь: 43,75 % (с 320 тыс. до 460 тыс. рублей).
Спады тоже названы верно, с цифрами рядом. А в блоке «Посчитано» ответ показал и сам расчёт: разность, деление, умножение на сто. Того же стоит требовать и от агента. Ход вычисления можно проверить, не доверяя итоговой цифре, а ошибку в нём видно сразу.
Верная арифметика — минимальный порог. Кто его не прошёл, дальше можно не смотреть. Ошибка на шести числах будет и на шестистах, только там её уже не заметишь.
Третья ошибка: не различать посчитанное и предположенное
Вторая половина того же запроса важнее первой: «пометь, что посчитано, а что предположено». Насколько важнее, я проверила. Отправила тот же запрос без этой строки, в новый чат. Вторая причина спада пришла такой:
Внутренние причины: временное снижение качества напитков или маркетинга, из-за чего часть постоянных клиентов ушла к конкурентам.
Заголовок «возможные причины» над ней есть, но сама фраза уже рассказывает историю: качество упало, клиенты ушли к конкурентам. Прочитай её владельцу кофейни, и он либо обидится, либо поверит. В ответе с пометкой вторая причина была другой и стояла в блоке «Предположено»:
Внешние факторы: возможное усиление конкуренции или временные проблемы с поставками/рекламой в эти месяцы.
Здесь нет цепочки «случилось, поэтому ушли»: только «возможное» усиление конкуренции и проблемы «в эти месяцы». Обе причины — догадки, но одна так и звучит, а другая читается как вывод о чужом бизнесе. Сезонность в ответе с пометкой тоже попала в предположения:
Сезонность: февраль часто холодный и малопосещаемый, май — период майских праздников и отъездов.
Звучит правдоподобно. Но для твоей кофейни это гипотеза, а не вывод. Может, в феврале чинили кофемашину или ушёл бариста, которого любили постоянные гости. Агент, который подаёт такие причины без пометки, через месяц убедит тебя в том, чего не было.
Отсюда правило выбора. Требуй в задаче разделять факты и догадки, и смотри, выполнено ли требование. Если агент его игнорирует, это не манера письма, а риск для твоих решений.
Четвёртая ошибка: не спросить того, чего агент знать не может
Второй запрос — ловушка. Я спросила о кофейне, данных о которой у нейросети быть не может:
Почему в феврале упала выручка у кофейни «Зерно» на улице Ленина в Твери и какие напитки там продаются лучше всего? Ответь коротко.
Пришла одна строка:
У меня нет данных о выручке кофейни «Зерно» в Твери.
Это хороший результат. Плохой выглядел бы как уверенный абзац про зимний спрос и любимый раф местных студентов.
Но не идеальный. Про напитки ответ промолчал, хотя спрашивала я и о них. Молчание лучше выдумки, но хуже прямого «и об этом данных нет». Тот, кто читает отчёт по диагонали, может не заметить, что на половину вопроса ответа не было. В своей проверке отмечай и такое: какие части вопроса остались без ответа.
Ловушку легко сделать под себя. Спроси о внутренней цифре своей компании, о человеке, которого нет в открытых источниках, о том, что случилось в твоём отделе на прошлой неделе. Знать это агенту неоткуда, и честный ответ здесь один.
И последняя проверка, если агент собирает данные из интернета. Попроси его указать источник у каждого важного утверждения. Потом открой два-три из них. Есть ли такая страница? Сказано ли там то, что в отчёте? Ссылка, которая никуда не ведёт или говорит о другом, весит больше всех верных цифр вместе.
Пятая ошибка: забыть, что будет с отчётом потом
Кто прошёл проверки, тот годится. Выбрать из годных помогут вопросы попроще. Даже верный отчёт мало стоит, если его неудобно забрать и нельзя повторить. Посмотри у каждого кандидата одно и то же:
куда уходит итоговый отчёт: можно ли скопировать его или скачать файлом, чтобы не перепечатывать;
есть ли шаблоны под твои типовые задачи, чтобы не писать постановку каждый раз с нуля;
можно ли выбрать глубину: быстрый прогон для черновика и долгий для важного;
где хранятся данные, если в задаче будут цифры компании;
как устроена оплата и что доступно без неё.
Критерии скучные, но именно они решают, будешь ли ты пользоваться агентом через месяц.
В LibraChat агент — отдельный экран: выбираешь глубину, отчёт в браузере копируешь или скачиваешь файлом MD, данные хранятся в Казахстане. Режим платный, а что входит в какой тариф, видно на странице с тарифами.
Сегодня возьми один отчёт, который уже сделан руками, и отправь его исходные цифры двум кандидатам. Ошибся хоть в одной цифре — вычёркивай. Кто остался, тому задай вопрос-ловушку.
Оба запроса сохрани. Сервисы обновляются, и через пару месяцев проверку стоит повторить на тех же данных: так видно, стал агент точнее или начал фантазировать.
лучшие нейросеть агентыработа и карьеравыбор нейросетипроверка ответа
