Как определить нейросеть в тексте студента без детекторов
Определить нейросеть в тексте по одному проценту детектора нельзя. Преподаватель разбирает четыре мифа и показывает вопросы, которые на защите говорят больше.
Андрей
Преподаватель, научный редактор LibraChat
8 мин чтения
— Андрей Сергеевич, детектор показал, что эссе на восемьдесят процентов написала нейросеть. Ставить незачёт?
Это спросила меня коллега прошлой весной. Студентку я знал: тихая, старательная, на семинарах отвечает хорошо. Мы позвали её, попросили рассказать, как она писала, и за десять минут разговора всё стало ясно. Свои мысли она объясняла уверенно, а гладкий текст вышел таким потому, что она три раза переписывала его по учебнику.
Определить нейросеть в тексте хочется одной кнопкой. Такой кнопки нет, и ниже я объясню почему. Зато есть способ проверить главное: понимает ли автор то, что сдал. На него у меня уходит минут 15 на одну работу, и он ни разу не подвёл.
Миф 1: определить нейросеть в тексте можно сервисом за минуту
Детекторы существуют, и я ими пользовался. Однажды я проверил одним таким сервисом своё старое эссе, написанное в студенчестве, задолго до нейросетей. Сервис уверенно нашёл в нём «признаки ИИ». Но они выдают вероятность, а не вердикт. Мне попадались оба вида ошибок: человеческий текст с высоким «процентом ИИ» и сгенерированный, который детектор пропустил.
Почему так выходит? Детектор смотрит на то, насколько текст предсказуем. А предсказуемо пишут не только нейросети. Предсказуемо пишет студент, который выучил шаблон школьного сочинения: «актуальность темы», «таким образом», «из всего вышесказанного следует».
Поэтому процент для меня повод присмотреться, а не основание для оценки. Ставить незачёт по одной цифре я бы не стал никогда.
Миф 2: гладкий текст значит нейросеть
Гладкость подозрительна, но она ничего не доказывает. Отличник, который много читает научных статей, пишет гладко. Студент, который попросил старшую сестру отредактировать работу, тоже сдаёт гладкий текст.
Я смотрю не на гладкость, а на пустоту. Вот признаки, которые настораживают меня куда сильнее:
нет ни одного конкретного примера: ни города, ни года, ни цифры;
каждое предложение можно вставить в эссе на любую соседнюю тему;
нет ссылок на то, что мы проходили на занятиях;
мысль не развивается: третий абзац повторяет первый другими словами;
нет ни одного сомнения или спорного утверждения.
Такой текст может написать и нейросеть, и человек, который торопился. Разница выясняется только в разговоре.
Миф 3: если нашёл следы нейросети, работа списана
Студент мог попросить нейросеть объяснить тему, составить план или проверить запятые. Это не обман, так работают с любым помощником, со словарём или со старшим товарищем. Плохо другое: когда человек сдаёт текст, которого сам не понимает.
Поэтому вопрос «писала ли нейросеть» я заменил другим: «может ли автор отвечать за каждую фразу». И тут нейросеть мне помогает, только с другой стороны стола.
Как я разбираю эссе в LibraChat перед защитой
Я кидаю в чат фрагмент работы и прошу не угадывать авторство, а показать слабые места и подсказать вопросы. Вот фрагмент студенческого эссе об экологии и мой запрос целиком:
Я преподаватель. Вот фрагмент эссе студента. Не пытайся определить, писала ли его нейросеть, — по тексту этого наверняка не узнать. Вместо этого: 1) отметь фразы, которые звучат общо и шаблонно, и объясни, чего в них не хватает; 2) предложи 4 вопроса, которые я могу задать автору на защите, чтобы понять, разбирается ли он в теме сам. Текст: «На сегодняшний день проблема экологии является одной из наиболее актуальных. Загрязнение окружающей среды оказывает негативное влияние на здоровье человека и состояние планеты в целом. Каждый из нас может внести свой вклад в решение данной проблемы. Например, сортировка мусора, экономия воды и электроэнергии, а также использование общественного транспорта помогают снизить нагрузку на природу. Бережное отношение к окружающей среде — это не только задача государства, но и ответственность каждого человека. Только совместными усилиями мы сможем сохранить планету для будущих поколений.»
Первое, что мне понравилось в ответе: чат не стал гадать об авторстве. Он начал с оценки самого текста: «Фрагмент держится на общих формулах и не показывает, что автор разбирает проблему, а не пересказывает плакат».
Дальше шёл разбор каждого предложения. Вот два примера, на мой взгляд самые точные:
«Каждый из нас может внести свой вклад в решение данной проблемы». Лозунг без аргумента: почему личный жест вообще сопоставим с масштабом проблемы и при каких условиях он что-то меняет.
«Сортировка мусора, экономия воды и электроэнергии, а также использование общественного транспорта помогают снизить нагрузку на природу». Перечень без механизма. Неясно, как каждая мера снижает нагрузку, на что именно и где она слабее, чем кажется.
Именно это я и пытался сформулировать сам, когда читал такие работы. Не «здесь писала нейросеть», а «здесь нет мысли, есть плакат». Такое замечание можно сказать студенту в лицо, и оно справедливо в любом случае, кто бы ни писал текст.
А потом пришли четыре вопроса к защите. Приведу два:
Возьми одну меру из своего списка — сортировку. Объясни цепочку: от контейнера во дворе до реального снижения воздействия. Где эта цепочка чаще всего рвётся?
Если все вокруг начнут экономить воду и ездить на автобусе, а крупные источники выбросов и отходов не изменятся, что реально сдвинется, а что почти нет? Почему?
На такие вопросы нельзя ответить заученной фразой. Студент, который сам думал над темой, начнёт рассуждать, пусть и неуверенно. Студент, который сдал чужой текст, замолчит на первом же «почему».
Я задал первый вопрос автору этого эссе. Он подумал и рассказал, что у них во дворе стоят контейнеры для раздельного сбора, но мусоровоз увозит всё в одну машину. Это было его собственное наблюдение, его в тексте не было. Мы договорились, что он перепишет работу и вставит туда именно это. Вторая версия получилась вдвое живее первой.
Как я провожу разговор на защите
Раньше я задавал вопросы на защите как придётся, по настроению. Теперь у меня порядок, и он делает разговор спокойнее для обеих сторон. Студент не чувствует допроса, а я получаю ответ на главный вопрос.
Начинаю с просьбы рассказать, как шла работа: с чего начал, что читал, где застрял.
Задаю один вопрос по самой общей фразе текста: «Что ты имел в виду здесь? Приведи пример».
Прошу связать работу с тем, что мы проходили на занятиях.
Задаю вопрос, на который нет готового ответа: «А ты сам с этим согласен?»
Если сомнения остались, прошу дописать один абзац при мне, на любую близкую тему.
Пятый шаг мне понадобился за прошлый год дважды. Оба раза студент честно сказал, что работу ему «помогли сделать», и мы договорились о переписывании. Без скандала и без процентов.
Я проверил этот порядок на трёх группах. Разговор занимает 10–15 минут, и я ни разу не пожалел, что потратил это время вместо того, чтобы поверить цифре.
Миф 4: без детектора преподаватель беспомощен
Наоборот. Детектор видит только текст, а преподаватель видит человека. Я знаю, как студент говорит на семинаре, какие примеры приводит, где обычно ошибается.
Вот как я теперь распределяю проверку:
Что проверяю · Чем · Что это показывает · Чего это не доказывает
Процент «ИИ» — детектор — текст предсказуем — что писала нейросеть
Шаблонные фразы — LibraChat или глаз — где нет конкретики — кто автор
Ответы на 3–4 вопроса — разговор 10 минут — понимает ли автор тему — ничего лишнего
Черновики и план — просьба показать — как шла работа — что работа без помощников
Последняя строка таблицы честная: помощники были у всех, во все времена. Мне важно, чтобы человек вышел с защиты, понимая тему.
Определить нейросеть в тексте или проверить понимание?
Расхожее мнение такое: преподавателю нужен детектор поточнее, и проблема решится. Я с ним не согласен. Даже идеальный детектор ответил бы на вопрос «кто нажимал клавиши», а оценка ставится за другое: за то, что человек знает и умеет.
Попробуй на ближайшей стопке работ. Возьми одно эссе, которое вызывает сомнения, открой LibraChat, вставь в чат мой запрос со своим фрагментом и получи вопросы к защите. Задай их студенту спокойно, без обвинений. Для разбора одного эссе хватает бесплатного тарифа, а если проверяешь работы целого потока, загляни в тарифы. Через десять минут разговора ты будешь знать о работе больше, чем скажет любой процент.
определить нейросеть в текстетекст написан нейросетьюпроверка эссепреподавателюзащита работыLibraChat
