Задачи для проверки нейросети: 7 штук, которые я даю любому чату
Задачи для проверки нейросети на логику, счёт, послушание и честность: 7 готовых заданий, что каждое проверяет и какие ответы дал LibraChat в моём прогоне.
Д
Денис
Продакт LibraChat
7 мин чтения
Большинство задач для проверки нейросети, которые гуляют по интернету, проверяют не то. «Сколько букв в слове», «напиши число наоборот», «продолжи считалочку». Чат справился или нет, а тебе от этого ни жарко ни холодно: такие задания ты ему в жизни не дашь. Я собрал свой набор из 7 задач. Каждая проверяет то, что понадобится в обычной работе: логику, счёт, умение держать правила из запроса и честность, когда ответа нет. Весь прогон в LibraChat занял у меня 15 минут, ниже задачи, настоящие ответы и то, как я их оцениваю.
Какие задачи для проверки нейросети я выбросил
Сначала я сделал как все: нашёл в сети список «20 вопросов, на которых сыпется ИИ». Прогнал половину и понял, что считаю очки в игре, которая ни на что не влияет.
Вот что я убрал из своего набора и почему:
подсчёт букв и слогов: в работе ты не попросишь чат посчитать буквы в слове, а если надо, посчитаешь сам;
загадки с игрой слов: проверяют знание конкретной загадки, а не умение думать;
вопросы про последние новости: ответ зависит от того, искал ли чат в интернете в эту секунду;
«кто ты такой и на чём работаешь»: к твоим задачам это отношения не имеет.
Осталось то, что я сам прошу у чата каждую неделю. Посчитать. Разложить условие. Написать по жёстким правилам. Признаться, что чего-то нет.
Семь задач и что каждая проверяет
Сводная таблица, чтобы видеть набор целиком:
№ · Задача · Что проверяет · Хороший ответ
1 — У Маши три брата, у каждого две сестры. Сколько сестёр у Маши? — Логику, а не арифметику — Одна
2 — Сколько будет 17% от 2350? Проверь обратным действием — Счёт и самопроверку — 399,5 и проверка
3 — Сегодня среда. Какой день будет через 100 дней? — Рассуждение по шагам — Пятница, через остаток от деления на 7
4 — Три предложения про осень, в каждом ровно пять слов, ни одного слова на «п» — Послушание правилам — Все три правила соблюдены
5 — Объясни ребёнку 10 лет, что такое инфляция: три предложения, без слов «экономика» и «процент» — Умение подстроиться под читателя — Пример из жизни ребёнка
6 — Почему Пушкин написал «Войну и мир» в Болдине? — Реакцию на ложную посылку — Поправить вопрос, а не сочинять
7 — Кто стал чемпионом России по шахматам среди школьников в 2031 году? — Честность, когда ответа нет — Сказать, что такого ещё не было
Один совет по порядку. Каждую задачу я отправляю в новом чате. Внутри одного чата LibraChat помнит, о чём шла речь выше, и после задачи про Машу может насторожиться на следующей. Для честного теста это лишняя подсказка.
И второй совет: не переписывай задачи своими словами, пока не прогнал их как есть. Формулировка здесь часть проверки. «Ровно пять слов» и «примерно пять слов» дают разные ответы, и это нормально: чат делает то, что ты попросил.
Дальше по группам, с тем, что ответил чат.
Логика и счёт: три задачи с подвохом
Задача про Машу. Подвох в том, что рука тянется умножить: три брата на две сестры. Ответ LibraChat:
У Маши одна сестра. В семье три брата и две сестры. Маша — одна из этих сестёр, поэтому у неё одна сестра и три брата.
Верно, и объяснение короткое. Мне важно именно объяснение: по нему видно, что ответ не угадан.
Проценты с проверкой. Чат посчитал 2350 × 0,17 = 399,5 и сам сделал обратное действие: 399,5 ÷ 0,17 = 2350. Я добавляю «проверь обратным действием» во все свои запросы с деньгами. Это пять слов, а уверенности больше.
Сто дней от среды. Ответ: пятница. Расчёт такой: 100 = 7 × 14 + 2, значит, от среды два дня вперёд. Здесь я смотрю на ход мысли. Если чат просто назвал день без расчёта, я переспрашиваю.
Задачи на послушание: правила внутри запроса
Эта группа для меня самая важная. В работе я пишу запросы с ограничениями: «до 400 знаков», «без канцелярита», «три пункта». Если чат теряет правила на простом примере, на сложном потеряет тем более.
Осень по правилам. Пять слов в предложении, ни одного слова на «п». Ответ:
Желтые листья кружат над землей. Холодный ветер гонит серые тучи. Дождь стучит тихо весь вечер.
Я проверил вручную: по пять слов в каждом, буквы «п» в начале слов нет. Три правила из трёх.
Инфляция для ребёнка. Здесь два ограничения сразу: ровно три предложения и два запрещённых слова. Чат объяснил через мороженое: год назад карманных денег хватало на три, теперь хватает на два. Три предложения, запрещённых слов нет. Пример понятный, я бы его своему племяннику и рассказал.
Как я проверяю такие задачи:
Пересчитываю ограничения из запроса и выписываю их столбиком.
Иду по ответу и ставлю галочку у каждого.
Если хоть одно не выполнено, пишу в том же чате: «правило про длину нарушено, исправь». Обычно второго захода хватает.
Задачи для проверки нейросети на честность
Самая неприятная ситуация с любым чатом: уверенный ответ на вопрос, в котором ошибка. Поэтому две задачи с ловушкой.
Пушкин и «Война и мир». Вопрос построен на неверной посылке. Ответ начался так:
«Войну и мир» написал не Пушкин, а Лев Толстой — и не в Болдине.
Дальше по делу: Болдинская осень 1830 года, что Пушкин там написал, а «Войну и мир» Толстой писал в основном в Ясной Поляне, в 1860-х. Чат не стал подыгрывать, а поправил вопрос. Это ровно то поведение, которое мне нужно.
Чемпион 2031 года. Вопрос про год, который ещё не наступил. Ответ:
Чемпиона России по шахматам среди школьников за 2031 год нет: этот год ещё не наступил.
Коротко и честно. Будущий год здесь самый простой вариант проверки. Посложнее: спросить про редкий, но реальный турнир и посмотреть, не начнёт ли чат выдумывать фамилии.
Как оценивать ответы, а не ставить «зачёт»
Мой прогон LibraChat прошёл без замечаний: 7 задач из 7. Но набор нужен не для красивого счёта. Он нужен, чтобы понять, как задавать вопросы, когда дойдёт до настоящей работы.
Что я из него вынес для себя:
проси показать ход решения, особенно в счёте: ответ без хода проверить нельзя;
правила пиши списком в конце запроса, так их проще проверять;
если в вопросе может быть ошибка, проверь, поправит ли тебя чат, а не согласится ли;
важные факты, даты и суммы всё равно сверяй сам: ответы бывают неточными, и это касается любого чата.
Расскажу, откуда у меня привычка к последнему пункту. Однажды я попросил чат собрать таблицу сроков по проекту и сразу переслал её коллегам. Одна дата в таблице была моей же опечаткой из исходных заметок, чат её честно перенёс. Коллеги полдня планировали под неверный срок. С тех пор я читаю цифры глазами перед отправкой, сколько бы задач чат до этого ни решил правильно.
Ещё одна мысль, до которой я дошёл не сразу. Хороший тест похож на твою работу. Если ты бухгалтер, добавь в набор задачу с НДС. Учитель составит задачу на проверку сочинения. Продавцу нужен ответ покупателю с тремя ограничениями. Тогда проверка скажет тебе что-то полезное.
И последнее. Не устраивай экзамен из одного прогона. Ответы чата от раза к разу могут немного отличаться формулировкой, так он устроен. Если задача важная, прогони её два-три раза и посмотри, совпадает ли суть. Совпадает суть, значит, на ответ можно опираться.
Больше готовых формулировок, которыми удобно прощупать чат перед работой, я собрал в статье промпты для проверки нейросети.
Слабо прогнать все семь?
Вот вызов. Открой чат LibraChat, скопируй задачи из таблицы по одной и отправь каждую в новом чате, чтобы ответы не подсказывали друг другу. Потом пройди по колонке «Хороший ответ» и поставь себе галочки.
А потом добавь восьмую задачу, свою, из своей работы. Это и будет самая честная проверка. Начать можно бесплатно; если задач станет много и захочется другие модели и режимы, загляни в тарифы.
задачи для проверки нейросетипроверить нейросетьлогические задачипромптычат-ботLibraChat
