Алиса, сделай тест: что проверить в вопросах и ключе от нейросети
Алиса и тест для самопроверки или урока: что нейросеть собрала по истории и биологии, где ошиблась и как проверить вопросы и ключ до раздачи.
Андрей
Преподаватель, научный редактор
6 мин чтения
Говорят, тест от нейросети готов к раздаче сразу: попросил «Алиса, сделай тест», распечатал, проверил по ключу. Я проверил это в LibraChat (это его блог, про Алису здесь ничего не утверждаю) на двух тестах, по истории и по биологии. Оба собраны за один запрос и выглядят аккуратно. И в обоих нашёлся вопрос, который я бы не пропустил к ученикам.
Короткий ответ такой. Нейросеть хорошо делает черновик теста: вопросы, варианты, ключ и даже файл Word. Готовым тест становится после того, как ты прочитаешь каждый вопрос глазами того, кто будет на него отвечать.
Тест сразу в работу? Сначала прочитай вопросы
Первый запрос я написал от лица семиклассника, которому через неделю контрольная:
Через неделю контрольная по истории в 7 классе по теме «Смутное время». Сделай мне тест на 10 вопросов с четырьмя вариантами ответа, а правильные ответы с короткими пояснениями дай отдельно в конце, чтобы я сначала прошёл сам.
Предмет, класс и тему замени на свои. Если учитель дал список вопросов к контрольной, вставь его в запрос: так тест будет ближе к тому, что спросят. Ничего настраивать не нужно: вставь текст в окно чата LibraChat и отправь.
Пришло ровно то, что просил: десять вопросов, четыре варианта у каждого, ключ с пояснениями в конце. Девять вопросов из десяти я бы взял в свою контрольную без правки. Это хороший результат. Даты, имена, порядок событий сходятся с учебником. А вот десятый:
Какое иностранное государство активно вмешивалось в события Смуты?
Верный ответ по ключу — Польша. Но среди вариантов есть и Швеция, а шведские войска в Смуту тоже воевали на русской земле и занимали Новгород. Знающий ученик здесь растеряется: правильных ответов два. Для тестового вопроса это брак, даже если каждое слово в нём правда.
Такие вопросы и есть главный риск. Явную ошибку видно сразу. Двусмысленность замечает только тот, кто представил себе отвечающего.
Как научиться её видеть? Я делаю так: читаю вопрос и пытаюсь защитить каждый неверный вариант. Если хотя бы один защищается фактами из учебника, вопрос надо переписать. В десятом вопросе Швеция защищается легко. Можно было спросить иначе: какое государство поддерживало Лжедмитрия Первого. Тогда ответ один.
Ключ всегда верен? Сверь пояснения
Ключ в этом тесте сделан хорошо: к каждому ответу короткое пояснение. Например:
4 — Б — Земский собор избрал Михаила Романова царем в 1613 году.
Пояснение здесь работает как маленькая шпаргалка к теме. Прошёл тест, ошибся в четвёртом вопросе, прочитал строку и сразу понял, что повторить. Поэтому я и просил пояснения, а не голые буквы.
Но ключ проверяется так же, как вопросы. Пояснение к десятому вопросу звучит уверенно:
10 — А — Польша поддерживала Лжедмитриев и оккупировала Москву.
Всё сказанное верно, но вопрос оно не спасает: про Швецию ни слова. Ученик, который выбрал Швецию, увидит в ключе «неправильно» и решит, что ошибся. А ошибся составитель. Поэтому каждую строку ключа, где есть дата или имя, я бы сверил с учебником. Такая сверка обходится дешевле спора на уроке.
Тест только текстом? Попроси файл Word
Для второй проверки я встал на место учителя. Ему тест в переписке неудобен: его надо распечатать, а переносить десять вопросов в документ руками долго.
Я учитель биологии. Сделай в Word тест для 8 класса по теме «Кровеносная система человека»: 10 вопросов с четырьмя вариантами ответа, в конце ключ с правильными ответами.
В ответ пришёл файл Word. В LibraChat готовый документ приходит прямо в ответе, если в запросе назван формат, и здесь хватило слов «в Word». В файле заголовок теста, строка для фамилии, класса и даты, десять вопросов с вариантами и ключ в конце одной строкой.
Большинство вопросов годятся для восьмого класса: сколько камер у сердца, какие клетки переносят кислород, у каких сосудов есть клапаны. Но четвёртый вопрос я бы вычеркнул. Он спрашивает, какой тип кровообращения включает малый круг, а правильный вариант в нём — сам малый круг кровообращения. Ответ спрятан в вопросе. Такой пункт ничего не проверяет, кроме внимательности к словам. Заметить его легко, если читать вопросы вслух: на четвёртом ухо само цепляется за повтор.
Хорошая новость: заново собирать файл не придётся. Напиши в LibraChat, какой вопрос заменить и на какую тему. Ответом на это сообщение придёт тот же документ, исправленный, и по-прежнему в Word. Сам документ при этом стоит открыть и проверить ещё раз.
Тест нужен только учителю? Ученику он полезнее
Есть мнение, что тесты составляют учителя, а ученику остаётся их писать. По-моему, для подготовки к контрольной полезнее как раз тест, который ты сделал себе сам. Обрати внимание на конец моего первого запроса: ответы отдельно, чтобы сначала пройти самому. Нейросеть это выполнила, ключ стоит после всех вопросов.
Как с таким тестом работать? Пройди его, не глядя в конец. Честно, без подглядывания. Отметь вопросы, где сомневался, даже если угадал. Потом открой ключ и прочитай пояснения именно к ним. Сомнение важнее ошибки: оно показывает, что тему ты знаешь нетвёрдо. Подробнее о подготовке к контрольной с нейросетью я писал в статье о контрольной работе, а о тестах вообще — в обзоре нейросети для тестов.
Как проверить тест до раздачи
Ответы нейросети бывают неточными, и это касается и ответов LibraChat. Тест, по которому будут ставить оценки или по которому ты готовишься, я бы прогнал по короткому списку:
В каждом вопросе ровно один верный вариант: попробуй защитить каждый неверный и посмотри, получится ли.
Ответ не подсказан самим вопросом, как в четвёртом вопросе про малый круг.
Даты и имена в ключе сверены с учебником, а не с памятью.
Неверные варианты правдоподобны: если ответ угадывается по форме, вопрос слабый.
Тест покрывает тему, а не один её параграф.
Похожую привычку, когда не принимаешь ответ на слово, а проверяешь его подстановкой, я показывал на задачах с Алисой.
Готовый тест или черновик
Миф о том, что тест от нейросети можно раздавать сразу, держится на аккуратном виде: варианты выровнены, ключ на месте, файл открывается. Но качество теста видно не по виду, а по вопросу, на который знающий ученик не может ответить однозначно. Из двадцати вопросов в моих двух тестах таких было два. Немного. Но именно на них ученик спорит, а учитель теряет доверие к тесту.
Сделай тест по своей теме и найди в нём хотя бы один вопрос, на который можно ответить двумя способами. Не нашёл? Прочитай ещё раз, представив самого сильного ученика в классе.
