«Две страницы конспекта — это сколько токенов?» Я услышал вопрос от учительницы, которая собирала задания для седьмого класса. Понятного числа я ей не назвал: токен не равен ни слову, ни строке, а способ подсчёта зависит от модели и языка текста. Но вопрос был полезным. За ним стояла другая задача: уместить в запрос учебный фрагмент так, чтобы нейросеть не потеряла цель урока.
Я разобрал с ней запрос и убрал не материал для детей, а лишние пояснения для машины. Текст стал короче, а цель осталась на месте. Этот порядок пригодится, даже если на экране сервиса вообще не показан счётчик токенов.
Нейросеть в работе учителя: токен — это часть текста?
Да. Токеном может оказаться целое короткое слово, кусок длинного слова, знак препинания или сочетание символов. Разделение зависит от того, как устроена обработка текста в конкретной модели. В справке OpenAI прямо сказано: число токенов не равно числу слов, а один и тот же текст может дать разные подсчёты у разных моделей и на разных языках.
Мне не нравится популярное правило «одно слово — один токен». Оно удобно для прикидки, но на русском способно серьёзно сбить с толку. В слове есть окончания, составные части, редкие имена; знаки и пробелы тоже участвуют в разбиении. Поэтому я не обещаю точную пропорцию для страницы конспекта. Если сервис показывает лимит, ориентиром будет его собственный счётчик или сообщение об ограничении.
В учебной беседе это не пароль и не оценка ребёнка. Токен — единица обработки текста. На платформах с API тем же словом иногда называют ключ доступа, но для обычного запроса учителя важно значение, связанное с объёмом текста.
Почему два одинаковых по длине задания могут занимать разный объём?
Представь два фрагмента по 120 слов. Один — знакомые короткие предложения об осеннем лесе. Второй — абзац из физики с формулами, единицами измерения и длинными названиями приборов. Считать их «одинаковыми» по токенам было бы ошибкой. Число слов совпадает, а состав символов иной.
Я однажды собрал учебный запрос из цели урока, фрагмента параграфа, подробного расписания класса и длинного рассказа о том, как проводил прошлое занятие. Последние две части не влияли на вопросы к тексту. Я проверил это по смыслу: если их убрать, задание ученику не меняется. Так и сократил запрос, не выкидывая источник, по которому надо отвечать.