Нейросеть в работе учителя: тест по истории, который я бы не раздал
Нейросеть в работе учителя: тест по истории за один запрос, текстом и файлом Word. Где в ключе два верных ответа и что проверить до того, как раздать классу.
Андрей
Преподаватель, научный редактор
6 мин чтения
Самый неприятный тест — тот, где сильный ученик теряет балл за то, что знает больше учебника. Он выбирает ответ, который тоже верен, а ключ говорит «неверно». Спорить с таким ключом приходится учителю, и обычно уже после урока.
С этой мыслью я и проверял, как нейросеть в работе учителя справляется с тестом. Задача обычная: проверочная по истории для седьмого класса, тема «Смутное время». Тест пришёл быстро, дважды: текстом и файлом Word.
Читал я его так, как читаю чужую контрольную перед тем, как дать её своему классу. И на пятом вопросе остановился.
Десять вопросов выглядели прилично
Запрос я написал обычными словами, как написал бы коллеге:
Я учитель истории в 7 классе, тема «Смутное время». Составь проверочный тест на 10 вопросов с четырьмя вариантами ответа и ключом в конце. Пусть хотя бы три вопроса проверяют понимание причин и последствий, а не только даты и имена.
Последняя фраза в нём для меня главная. Тест на одни даты проверяет память, а не понимание, и нейросеть охотно выдаёт именно такой, если её не остановить.
Остановить получилось. Первый же вопрос был о причине:
Что стало главной причиной династического кризиса в начале Смутного времени
Верный ответ «Прекращение династии Рюриковичей», и он действительно верный. Третий вопрос мне понравился ещё больше:
Почему ополчение 1612 года смогло освободить Москву
Над таким вопросом семиклассник думает, а не вспоминает. Хотя и тут есть изъян: среди вариантов стоят помощь крымских татар и прямая поддержка шведов. Их не выберет никто. Неверный вариант работает, только если в него можно поверить.
Пока всё это мелочи. Их правишь, не перечитывая тему. Что же меня остановило на пятом вопросе?
Какое событие привело к усилению польской интервенции
По ключу ответ — смерть Бориса Годунова, с пояснением:
5 — В — Смерть Годунова ослабила центральную власть
Ослабила, да. Спорить не буду. Но открытое вмешательство польского короля началось позже, после того как Василий Шуйский заключил союз со Швецией. В вариантах есть «Заключение мира со Швецией», и ученик, который читал параграф внимательно, выберет его. Формулировка там неточная: был союз, а не мир. Но ближе к истине именно она, а ключ поставит ученику минус.
Шестой вопрос — про конец Смуты:
В каком году закончилось Смутное время
Ключ называет 1613 год, избрание Михаила Романова. Только среди вариантов стоит и 1618-й. Многие учебники и пособия доводят Смуту до Деулинского перемирия 1618 года. Ученик, который это прочитал, снова окажется «неправ».
Я записал оба вопроса как ошибку ответа. Грубой лжи тут нет. Есть уверенный гладкий тон, который прячет спорное место. Ошибка в другом: у вопроса должен быть один бесспорный ответ, а здесь их два.
Подумал я: может, файл выйдет аккуратнее? Документ ведь собирается иначе.
Файл Word можно распечатать, раздавать рано
Второй раз я переписал запрос целиком и попросил формат:
Составь проверочный тест для 7 класса по истории на тему «Смутное время»: 10 вопросов с четырьмя вариантами ответа, три вопроса на причины и последствия, ключ с ответами отдельно в конце. Оформи в Word, чтобы распечатать на урок.
Пришёл документ Word: заголовок, тема, класс, десять вопросов, ключ в конце. От себя нейросеть добавила время выполнения, пятнадцать минут. Распечатать его действительно можно сразу, вёрстку я не трогал бы.
Содержание — другое дело. Четвёртый вопрос спрашивает, как звали первого самозванца, выдававшего себя за царевича Дмитрия. Среди вариантов есть и «Лжедмитрий I», и «Григорий Отрепьев». По ключу верен первый. Но вопрос «как звали» — это ровно про Отрепьева, под этим именем самозванец и вошёл в учебник. Два верных ответа в одном вопросе.
Второй вопрос — о последнем царе из Рюриковичей, по ключу это Фёдор Иоаннович. А в вариантах стоит Василий Шуйский, который тоже происходил из Рюриковичей. Учебник обычно говорит о московской ветви, но вопрос этого не уточняет.
В десятом вопросе ошибка согласования: «было освобождено от интервентов Кремль». Такой лист я бы классу не дал. Дети ищут ошибки в тексте учителя с удовольствием, и найдут. Ещё три вопроса из десяти заканчиваются вариантом «Все перечисленные», и он трижды верен. Дети замечают такую закономерность быстрее, чем учитель. К третьему разу этот вариант выбирают не думая. Тогда тест меряет чутьё на ключ, а не знание темы, и хороший результат класса ничего не говорит.
Обе ошибки файла я тоже внёс в список ошибок ответа. Так что же, нейросеть для тестов бесполезна?
Нет. Но решать тест придётся самому
Я бы так не сказал. Каркас пришёл, и пришёл добротный: десять вопросов по теме, ключ, причины и последствия, как я просил. Свой такой тест я составлял бы дольше и тоже правил бы потом. Разница в том, что свои ловушки я знаю, а чужие нужно найти.
Нашёл я их одним способом: решил тест сам, честно, не глядя в ключ. Там, где мой ответ разошёлся с ключом, и сидели оба спорных места из текстовой версии. Вопрос с самозванцем я поймал на том, что споткнулся на нём, выбирая между двумя правильными вариантами.
Потом правку можно отдать обратно. Документ Word, который пришёл в чате, LibraChat поправит по следующей просьбе там же, и формат останется прежним. Я бы попросил так: в вопросах 2, 4 и 6 оставь один бесспорно верный вариант, а «Все перечисленные» замени на конкретные ответы. Свой первый запрос можно взять почти как есть и отправить в LibraChat, поменяв тему и класс.
Что ещё я теперь дописываю в такой запрос? Две фразы. Первая: неверные варианты должны быть правдоподобными, такими, какие выбирают ученики, когда путают понятия. И вторую: у каждого вопроса ровно один верный ответ.
