Нейросеть составила тест: где он подсказывает ответ ученикам
Как составить тест через нейросеть и не раздать классу подсказку: готовый запрос учителя, три настоящих ответа и четыре проверки ключа перед уроком.
Андрей
Преподаватель, научный редактор
6 мин чтения
Нейросеть составит тест по любой теме за один запрос: вопросы, четыре варианта ответа, ключ и даже объяснение к каждому ответу. Ошибка начинается позже, когда такой тест раздают классу, не решив его самому.
Я попросил LibraChat о трёх тестах по одной теме: кровеносная система, 8 класс. В каждом из трёх ключей одна буква не оказалась верной ни разу. Внимательный ученик заметит это раньше учителя. С этой минуты тест проверяет у него смекалку, а не знания.
На короткий запрос нейросеть даёт тест, который решается без знаний
Начну с запроса в том виде, в каком его обычно пишут: предмет, класс, тема и «с ответами».
Составь тест по биологии для 8 класса про кровеносную систему человека с ответами
Пришёл большой ответ: двадцать заданий в трёх частях, баллы, шкала оценок. Объём впечатляет, пока не начнёшь решать. Вот один из вопросов первой части:
Самый большой круг кровообращения называется:
Среди вариантов есть «большой». Вопрос отвечает сам на себя. Восьмиклассник выберет верно, даже если пропустил всю тему. В вопросе о цвете крови рядом с алым стоят «голубоватый» и «жёлтый». Такие варианты не выберет никто, поэтому из четырёх работают два.
Шкалу оценок я не просил. Сколько баллов давать на «пятёрку», учитель решает по правилам своей школы, а не по тесту из чата. Этот кусок я вычеркнул бы сразу.
Зато часть с краткими ответами в том же тесте я бы оставил. Угадать тут нечего, нужно объяснить:
Почему стенки артерий толще и эластичнее, чем стенки вен?
Открытый вопрос проверяет понимание лучше четырёх вариантов, но и проверять его дольше: каждый ответ учитель читает сам. Поэтому в тесте на целый класс таких вопросов обычно немного, а основную нагрузку несут варианты. С ними и случаются все беды ниже.
Короткий запрос не говорит нейросети главного: тест должен ловить конкретные ошибки учеников. Итоговый запрос я писал уже как учитель, который знает, где тесты ломаются.
Я учитель биологии. Составь тест для 8 класса по теме «Кровеносная система человека»: 10 вопросов, у каждого четыре варианта и один верный. Неверные варианты делай правдоподобными — из тех ошибок, которые ученики делают, когда путают понятия. Верные ответы распредели по буквам примерно поровну, и пусть верный вариант не будет самым длинным. В самих вопросах ничего не выделяй, ключ дай отдельно в конце, с одной фразой объяснения к каждому вопросу.
Замени предмет, класс, тему и число вопросов на свои. Остальное оставь как есть: ниже видно, зачем там каждая фраза. Запрос можно отправить в LibraChat как есть, а неудачный вопрос потом переписать следующим сообщением в том же чате.
Разница с тестом по короткому запросу заметна. Вопросы стали проверять понимание, а не память на термины:
Почему кровь в артериях течёт под большим давлением?
Что произойдёт, если повреждена стенка сосуда?
На такие вопросы не ответишь, просто узнав слово. Выделений в тексте теста нет, ключ стоит отдельно, у каждого ответа есть объяснение. Если тест нужен на бумаге, допиши в запрос «сделай в Word»: LibraChat пришлёт файл прямо в ответе.
В математике и физике «правдоподобный» вариант устроен иначе. Неверный ответ там должен получаться из типичной ошибки в расчёте: потерянного минуса, не той единицы, перепутанной формулы. Это стоит назвать в запросе прямо, перечислив ошибки, которые ты хочешь ловить.
Если тест нужен тебе самому, чтобы проверить, как ты знаешь тему, подойдёт тот же запрос. Только ключ не открывай, пока не ответишь на всё. Как готовиться так к экзамену, разобрано в статье о подготовке к экзамену.
Но два изъяна пережили и подробный запрос.
Верный ответ выдаёт себя длиной
Был у меня и промежуточный запрос: подробный, но без правил про буквы и длину. В тесте, который на него пришёл, в четырёх вопросах из десяти верный вариант самый длинный и самый точный. Вот варианты к вопросу о плазме:
Жидкая часть крови, в которой находятся форменные элементы
Клетки, переносящие кислород
Три неверных варианта начинаются со слова «Клетки». Верный один, и написан развёрнуто, как определение из учебника. Ученик, который не знает ответа, выберет его по форме и угадает.
Просьба не делать верный вариант самым длинным помогла не до конца. В тесте по итоговому запросу самый длинный вариант по-прежнему верен в вопросах о плазме, о давлении в артериях и о тромбе. Лечится это руками. Укороти верный вариант или допиши неверным пару слов, чтобы четыре строки выглядели похоже.
Неверный вариант оказывается верным
Эту ошибку по форме не увидишь, поэтому она самая опасная. В том же промежуточном тесте есть вопрос «что такое капилляры». Ключ считает верными мельчайшие сосуды, через стенки которых идёт обмен веществ. А среди неверных стоит такой вариант:
Сосуды, соединяющие вены и артерии
Капилляры именно это и делают: через них кровь из артерий переходит в вены. В вопросе два верных ответа. Ученик, который выбрал «неверный», окажется прав, и спор на уроке учитель проиграет по делу.
Объяснение к ключу при этом написано уверенно. Ни тени сомнения. Проверка здесь одна: реши тест сам, не глядя в ключ, и над каждым неверным вариантом спроси себя, может ли он быть правдой. Сомневаешься — сверь с учебником своего класса. Как ещё разбирать темы по предмету, показано в статье про нейросеть для биологии.
Ключ перекошен, даже если попросить ровно
Теперь буквы. В промежуточном тесте ни один верный ответ не стоит под «A». В тесте по короткому запросу ни разу не верна «г». В итоговом я прямо попросил распределить ответы поровну, а в ключе «Б» верна шесть раз из десяти и «Г» не встречается вовсе.
Ученик, который отметит «Б» во всех десяти вопросах, наберёт шесть верных, не прочитав ни одного вопроса. Такой тест ничего не измеряет.
Запрос тут не спасает. Проверка простая: выпиши ключ в одну строку и посчитай буквы. Если какая-то буква пропала или повторяется через раз, поменяй варианты местами в нескольких вопросах.
Ещё одну подсказку дают сами неверные варианты. Посмотри на этот, из вопроса о составе плазмы:
Только гемоглобин и кислород
Слова «только», «всегда», «полностью» в верных ответах встречаются редко, и школьники это знают. Такой вариант вычёркивают без всяких знаний, значит, его надо переписать без «только».
Четыре вопроса к тесту от нейросети перед уроком
Перед уроком я прогнал бы любой тест, свой или из чата, через четыре вопроса:
Нет ли вопроса, в формулировке которого уже спрятан ответ?
Не выделяется ли верный вариант длиной, точностью или формой?
Может ли хоть один «неверный» вариант оказаться правдой?
Сколько раз в ключе встречается каждая буква?
Нейросеть тест соберёт, а решать его до урока придётся учителю. Другие задачи, где она помогает в подготовке к урокам, собраны в статье о нейросети для учителя.
Возьми последний тест, который ты составлял, с нейросетью или без, и выпиши его ключ в одну строку. Какая буква там встречается реже всех и заметил бы это твой самый хитрый ученик?
