Токен в нейросети — это не слово: четыре мифа и один пример
Токен в нейросети — это кусок текста, а не слово. Разбираю на одном предложении, как текст режут на токены и почему длинный чат расходует их быстрее.
Денис
Продакт LibraChat
6 мин чтения
«Токен — это слово» — так обычно объясняют новичку. Объяснение удобное, но неточное. Токен в нейросети — это кусок текста, которым она считает и твой вопрос, и свой ответ: иногда целое слово, иногда его половина, иногда одна точка.
Из этой неточности растёт главная ошибка: думать, что считается только последний вопрос. А от неё — тревога, будто каждое слово в чате стоит денег.
Токен в нейросети — это кусок текста, а не слово
Я попросил объяснить токены на конкретном примере. Запрос можно взять как есть. Если хочешь увидеть разбивку на своей фразе, допиши в конец: «Возьми фразу: …» и вставь своё предложение.
Что такое токен в нейросетях? Объясни на примере одного предложения по-русски, на какие кусочки его делят, и почему длинный разговор расходует токены быстрее.
Отправлял я его в LibraChat. Ответ взял фразу про сами токены:
Возьмём фразу «Длинный разговор быстро тратит токены.» Её могут разрезать примерно так:
Пять слов — десять кусков. «Длинный», «разговор», «тратит» и «токены» распались на два куска каждое, точка стала отдельным токеном. Целым осталось только «быстро». Видно, почему «токен равно слово» не работает: одни слова режутся, другие нет, и заранее это не угадаешь.
Мне понравилось, что ответ тут же честно оговорился:
Это иллюстрация, не универсальный стандарт: у разных моделей словарь свой, пробел часто прилипает к следующему куску, редкие и длинные слова дробятся сильнее.
Это важная оговорка. Точную разбивку знает только та нейросеть, которая её делает. Но принцип один: частые куски текста становятся одним токеном, редкие слова разбираются на части.
Отсюда практический вывод для русского языка. Слова с длинными окончаниями и редкие термины обычно занимают больше токенов, чем короткие частые слова. Текст на одну страницу может «весить» по-разному в зависимости от того, чем он написан.
Как посчитать токены в своём тексте? Точно на глаз не выйдет, и для обычной переписки это не нужно. Хватит грубого правила: токенов почти всегда больше, чем слов. В примере выше их вышло десять на пять слов.
Токены тратит не только последний вопрос
Второй миф звучит так: считается только то, что я сейчас написал. На деле это не так, и ответ объяснил почему:
На каждом новом ходе в запрос снова попадает почти вся переписка: и твои сообщения, и её ответы.
Представь разговор, в котором собеседник перед каждым ответом перечитывает всю вашу переписку с самого начала. Память у него хорошая, но с каждым новым сообщением читать приходится всё больше. Так и с нейросетью.
Первое сообщение лёгкое. Десятое тяжелее. Пятидесятое тащит за собой сорок девять предыдущих.
Итог ответ подвёл одной фразой:
Поэтому расход растёт не от одной фразы, а от накопленного контекста.
Слово «контекст» здесь значит всё, что нейросеть держит в голове в этом разговоре. Пока разговор идёт в одном чате, LibraChat помнит сказанное раньше. Это удобно. Задачу не нужно повторять. Так устроена память у чат-нейросетей вообще: это та самая переписка, которую ответ учитывает на каждом ходе.
Что из этого следует на практике? Новая тема — новый чат. Если полдня обсуждал отчёт, а теперь хочешь рецепт ужина, лучше начать с чистого листа. Ответ, скорее всего, будет точнее: старый отчёт не будет ему мешать.
Мой порог простой. Если я уже листаю чат вверх, чтобы вспомнить, с чего всё началось, пора открыть новый. Ещё три признака, что чат пора сменить:
тема поменялась, а старая переписка к ней не относится;
ответы начали путать детали из начала разговора с новыми;
в чате лежит большой документ, который для нового вопроса не нужен.
А если нужен общий контекст на много разговоров, например один и тот же проект с документами, в LibraChat для этого есть проекты. Это рабочее пространство со своими чатами, инструкциями и файлами, и всё это учитывается в каждом разговоре внутри проекта. В браузере длинный документ, к которому возвращаешься каждый день, удобнее один раз загрузить в блок «Файлы проекта», чем вставлять заново в каждый новый чат: такие файлы учитываются в каждом чате проекта. Тогда новый чат начинается без старой переписки, но с нужным документом под рукой.
Короткий запрос не всегда экономнее
Третий миф прямо вытекает из второго. Раз токены считаются, значит, писать надо как можно короче. Звучит логично, но работает не всегда.
Короткий расплывчатый запрос часто ведёт к уточнениям. «Напиши письмо» — какое, кому, о чём? Пришёл не тот ответ, ты поправляешь, потом ещё раз. Каждый такой круг снова тащит за собой всю переписку. Один подробный запрос, в котором сразу сказано, кому письмо, зачем и какой длины, часто выходит экономнее трёх коротких. Например: «Напиши короткое письмо коллеге: перенести встречу с пятницы на понедельник, тон дружелюбный, три предложения». Одна строка — и уточнять нечего.
С ответами то же правило. Если нужен короткий ответ, так и скажи: «в трёх предложениях», «списком из пяти пунктов». Короткий ответ проще проверить, и следующий вопрос в том же чате не потащит за собой лишнюю страницу.
Короче — значит без лишнего, а не без нужного. Как найти эту границу, разобрано в статье про короткий запрос для нейросети.
Токены — это не всегда деньги
Четвёртый миф — самый тревожный: будто в чате ты платишь за каждый токен и нужно их считать. В обычном чате LibraChat токены считать самому не нужно. Вместо счётчика там «запас ИИ» — рабочий бюджет на период, который расходуется перепиской и показывается процентом использованного. Картинки и видео считаются отдельно. У платных тарифов запас обновляется с новым оплаченным периодом, у бесплатного — с началом календарного месяца. На бесплатном тарифе, когда запас кончается, доступ не прекращается: ответы просто становятся короткими. Бывают и дневные лимиты. Тогда LibraChat показывает отсчёт до обновления, и считать самому опять ничего не нужно.
Где токены действительно превращаются в деньги — это API, то есть подключение нейросети к своей программе или сайту. Там оплата идёт за токены, и токены запроса и ответа считаются вместе. Это ровно та механика, которую показал разбор выше: длинная переписка в запросе стоит больше короткой. Условия API — в отдельной карточке на странице тарифов.
Если тебе интересно, как нейросеть вообще работает с этими кусками текста, загляни в разбор сути нейросети: там объяснено, почему она угадывает продолжение кусок за куском.
Проверь свой самый длинный чат
Принято думать, что токены — это что-то для программистов. На деле знать про них полезно любому, кто подолгу сидит в одном чате. Открой самую длинную переписку с нейросетью: не пора ли продолжить её в новом чате?
токен в нейросети этокак работает нейросетьчто такое токенконтекст
