О чём этот урок
В этом уроке мы рассмотрим, как модель видит текст, который ей передали, и из каких частей она составляет ответ. В первом уроке мы для простоты считали, что модель предсказывает следующее слово, хотя на самом деле она работает с токенами. Тогда мы лишь упомянули, что токеном может быть целое слово, часть слова или знак препинания, а теперь пора разобраться, что это за фрагменты и откуда они берутся.
Может показаться, что это техническая подробность, интересная только разработчикам. Однако от токенов зависят вещи, с которыми сталкивается каждый, кто работает с ИИ-помощником. Модель, которая без труда пишет связный текст на несколько страниц, порой ошибается, когда её просят посчитать буквы в слове. Ограничения на длину сообщения, ответа и всей переписки тоже измеряются в токенах. Наконец, один и тот же текст на русском языке у многих моделей занимает больше токенов, чем на английском. Такой текст быстрее расходует ограничения, а при работе через API ещё и обходится дороже. Напомним, что API — это программный интерфейс, через который модель подключают к своим приложениям, и оплата там идёт за каждый токен. В подписке на обычный чат цена от числа токенов не зависит, хотя ограничения на объём работы там тоже есть.
Сначала мы посмотрим, как выглядит обычная фраза после разбиения на токены. Затем разберём, почему модели удобнее работать с такими фрагментами, чем с отдельными буквами или целыми словами, и откуда берётся набор токенов, которым она пользуется. После этого станет понятно, почему русский текст часто занимает больше токенов и почему модели трудно считать буквы. В конце урока поговорим о лимитах: что именно они ограничивают и как это учитывать в работе.
Как выглядит текст, разбитый на токены
Начнём с того, как выглядит обычная фраза после разбиения на токены. Возьмём фразу из первого урока и допишем к ней самое вероятное продолжение: «Давай перенесём встречу на завтра». Прежде чем текст попадёт к модели, его обрабатывает токенизатор — программа, которая разбивает текст на токены. Вот как это делает токенизатор, которым пользуются нынешние модели OpenAI, например GPT-6 Astra и GPT-5.5 Pro (вертикальные черты показывают границы токенов):
Получилось десять токенов. Слова «на» и «завтра» вошли целиком, причём вместе с пробелом, который стоит перед ними: для токенизатора пробел — такой же символ, как буква, и чаще всего он оказывается в начале токена. Слова «перенесём» и «встречу» разбились на части. В «встреч» и «у» ещё можно узнать основу и окончание, но «перен», «ес» и «ём» с привычным делением слова на приставку, корень и окончание почти не совпадают. Даже «Давай» в начале фразы распалось на три куска.
Тот же токенизатор разбил английский перевод этой фразы, «Let's move the meeting to tomorrow», всего на шесть токенов, по одному на каждое слово. Почему так получается, мы разберём чуть позже, а пока отметим другое: разбиение зависит от токенизатора, и у разных моделей одна и та же фраза делится по-разному. Например, у модели Kimi K3.1 наша русская фраза занимает шестнадцать токенов.
Стоит остановиться на том, что именно получает модель. У токенизатора есть словарь — заранее составленный список всех токенов, которые он знает; у токенизатора OpenAI в нём около двухсот тысяч записей. Каждому токену в словаре присвоен номер, и модель получает последовательность этих номеров. Слово «завтра» вместе с пробелом перед ним для неё — одно число, и из каких букв оно состоит, модель напрямую не видит. Ответ складывается из тех же токенов: на каждом шаге, о котором шла речь в первом уроке, модель выбирает один токен из словаря, а токенизатор переводит выбранные номера обратно в текст.
Как токенизатор делит текст
Токенизатор нынешних моделей OpenAI, например GPT-6 Astra. Наберите свой текст или выберите пример из урока.
Значок — пробел: он входит в токен вместе со словом. В режиме «Как видит модель» вместо кусочков текста — их номера в словаре.
Почему модель работает с токенами
Естественно спросить, зачем понадобились такие странные фрагменты. Казалось бы, проще передавать модели текст по буквам или целыми словами, и тогда разбиение было бы понятнее. Чтобы ответить на этот вопрос, посмотрим, что получилось бы в каждом из этих случаев.
Если разбивать текст на отдельные буквы, словарь получится маленьким, зато текст станет очень длинным. Фраза про встречу заняла бы больше тридцати шагов вместо десяти, а ответ на страницу — около двух тысяч. Модели пришлось бы делать гораздо больше предсказаний, чтобы написать тот же ответ, и работать с гораздо более длинными последовательностями, из-за чего всё стало бы медленнее и дороже.
Если же сделать токеном каждое слово, возникает обратная трудность. Слов в языке огромное количество, а в русском у каждого слова ещё и много форм: «встреча», «встречи», «встречу», «встречами». К этому добавляются имена, названия компаний, термины, опечатки, слова из других языков и фрагменты программного кода. Словарь, который вместил бы всё это, был бы гигантским и всё равно оказался бы неполным: нового слова или опечатки в нём не нашлось бы, и модель не смогла бы их ни прочитать, ни написать.
Токены позволяют обойти обе трудности. Частые слова входят в словарь целиком, и текст из них получается коротким, а редкие собираются из нескольких частей. Поскольку в словаре есть и совсем короткие фрагменты, вплоть до отдельных символов, из токенов можно составить любой текст, даже слово, которого модель никогда не встречала. Так, слова «непредсказуемость» в словаре целиком нет, и токенизатор записывает его шестью частями: не|пред|с|каз|уем|ость.
| Если делить | Шагов |
|---|---|
| По буквам | 33 |
| Целыми словами | 5 |
| Токенами (OpenAI) | 10 |
Целыми словами короче всего, но тогда словарь пришлось бы раздуть до всех форм всех слов.
Остаётся понять, откуда берётся сам словарь и почему в нём оказались именно такие фрагменты. Словарь составляют автоматически, ещё до обучения модели, по большой коллекции текстов. Если описать процесс упрощённо, сначала в словаре есть только отдельные символы. Затем программа ищет пару соседних фрагментов, которая встречается в коллекции чаще всех остальных. Допустим, это буквы «з» и «а», стоящие рядом. Тогда в словаре появляется новый токен «за», и во всех текстах коллекции эта пара с этого момента считается одним фрагментом. После такой замены самой частой оказывается уже другая пара, скажем «за» и «в», и шаг повторяют снова и снова, пока словарь не дорастёт до нужного размера, например до двухсот тысяч записей.
В результате частые сочетания постепенно вырастают в целые слова, а редкие так и остаются собранными из частей. Это хорошо видно на паре слов «завтра» и «послезавтра». Первое встречается в текстах так часто, что попало в словарь токенизатора OpenAI целиком, вместе с пробелом перед ним, а более редкое второе записывается четырьмя токенами: «пос», «лез», «ав» и «тра». Именно поэтому границы токенов не совпадают с приставками и корнями: о грамматике токенизатор ничего не знает и учитывает только то, какие сочетания чаще встречались в текстах.
Почему русский текст занимает больше токенов
Теперь можно вернуться к разнице, которую мы заметили в начале урока: английская фраза заняла шесть токенов, а её русский вариант — десять. Причина кроется в том, как составляется словарь. Токены появляются для сочетаний, которые часто встречаются в коллекции текстов, а английских текстов в таких коллекциях обычно больше всего. Поэтому английские слова чаще попадают в словарь целиком, а русские собираются из частей. Особенно хорошо это видно на длинных словах: английское «unpredictability» токенизатор OpenAI записывает тремя токенами, а русскую «непредсказуемость» — шестью. Свою роль играет и то, что у русских слов много форм. Употребления одного слова делятся между формами «встреча», «встречи», «встречу» и другими, каждая форма по отдельности встречается реже, и поэтому у неё меньше шансов попасть в словарь целиком.
Насколько велика разница, зависит от токенизатора. Чтобы оценить её, мы взяли три фрагмента из первого урока, перевели их на английский и посчитали токены в обоих вариантах у трёх современных моделей:
| Текст | Сколько токенов |
|---|---|
| GPT-6 Astra Русский больше в 1,09 раза | |
| Русский текст | 181 токен |
| Английский перевод | 166 токенов |
| Claude Opus 5.5 Русский больше в 1,42 раза | |
| Русский текст | 310 токенов |
| Английский перевод | 218 токенов |
| Kimi K3.1 Русский больше в 1,75 раза | |
| Русский текст | 292 токена |
| Английский перевод | 167 токенов |
Посчитано счётчиками самих моделей 17 ноября 2026 года.
Разница объясняется тем, сколько места русским словам и их частям досталось в словаре каждой модели. В словаре токенизатора OpenAI их много, и русский текст занимает всего примерно на десять процентов больше токенов, чем английский. У Claude и Kimi словари составлены иначе, и тот же русский текст обходится им заметно дороже. Заметим и другое: даже английский перевод у Claude занял больше токенов, чем у двух других моделей, так что число токенов зависит от модели при любом языке.
Из этого следует, что соотношение русского и английского нельзя считать постоянным: оно зависит от модели. Если от числа токенов зависят деньги или лимиты, лучше посчитать токены на собственных текстах. Некоторые разработчики моделей публикуют страницы, где можно вставить текст и увидеть, как он делится на токены. Для ориентира: весь первый урок нашего курса, около двух тысяч слов, занимает в токенизаторе OpenAI примерно 3600 токенов, то есть в среднем меньше двух токенов на слово.
Интересный факт как было у GPT-4
Ещё недавно русский текст обходился моделям OpenAI почти вдвое дороже. До появления GPT-4o в 2024 году они пользовались токенизатором GPT-4, в словаре которого было около ста тысяч записей, и русским словам в нём досталось немного места. Нашу фразу про встречу он делил на шестнадцать токенов, слово «завтра» собирал из трёх частей, «зав», «т» и «ра», а весь первый урок занимал у него около 6000 токенов. На трёх фрагментах из таблицы выше русский текст занимал у него 323 токена против 166 у английского, то есть почти вдвое больше. Когда словарь увеличили вдвое, русских слов и их частей в нём заметно прибавилось, и разница сократилась примерно до десяти процентов.
Для разработчиков как посчитать токены в коде
Для моделей OpenAI токены можно посчитать библиотекой tiktoken:
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
tokens = enc.encode("Давай перенесём встречу на завтра")
print(len(tokens), [enc.decode([t]) for t in tokens])
У других разработчиков свои токенизаторы; для подсчёта токенов в их API обычно есть отдельные методы.
Почему модели трудно считать буквы
Вернёмся к тому, что модель получает последовательность номеров. Из этого следует ещё одна особенность, которая на первый взгляд кажется странной: задачи, простые для человека, например подсчёт букв в слове, могут оказаться для модели трудными.
Возьмём вопрос «Сколько букв „о“ в слове „молоко“?». Человек видит слово целиком и просто пересчитывает буквы. Модель же получает три токена, «м», «ол» и «око», и каждый из них для неё — номер в словаре. Чтобы ответить, ей нужно знать, что в «м» букв «о» нет, в «ол» она одна, а в «око» их две. Такие сведения модель усваивает только косвенно, например из текстов, где слова разбирали по буквам, писали по слогам или через дефис. Обычно этого хватает, но не всегда, и тогда модель уверенно называет неверное число.
По той же причине модели трудно даются задачи, в которых важны отдельные символы: написать слово задом наперёд, придумать заголовок ровно на 40 знаков, найти в тексте все слова на определённую букву. Мешает и то, что одно и то же слово может выглядеть для модели совсем по-разному. Слово «завтра» с пробелом перед ним — один токен, «Завтра» с заглавной буквы — два, а «ЗАВТРА» — пять.
Похожая трудность возникает с числами. Токенизатор OpenAI делит их на группы по три цифры, начиная слева, поэтому число 12345678 модель видит как 123|456|78, а число 1234567 — как 123|456|7. В результате одни и те же разряды в разных числах попадают в разные токены: единицы первого числа находятся в токене «78», а второго — в токене «7». Человек, складывая числа столбиком, выравнивает их по разрядам, а модели такое выравнивание приходится восстанавливать косвенно, и это одна из причин, по которым она ошибается в точных вычислениях с длинными числами.
Современные модели справляются с такими задачами заметно лучше своих предшественников, особенно если перед ответом они рассуждают или могут запустить программу для подсчёта; об этом пойдёт речь в пятом и шестом уроках. Однако сама причина трудностей никуда не делась. Поэтому если точное число символов действительно важно, например для заголовка с ограничением длины, результат лучше проверить счётчиком в редакторе.
Что ограничивают лимиты
Последнее, о чём стоит поговорить в этом уроке, — ограничения, которые измеряются в токенах. С ними рано или поздно сталкивается каждый, кто работает с моделью, и разобраться в них гораздо проще, когда понятно, что такое токен.
Самое важное из них называется окном контекста. Это наибольшее число токенов, которое модель может учесть за один раз: в окно должны поместиться и сообщение, и приложенные к нему документы, и сам ответ, а в чате ещё и предыдущая переписка. У современных моделей окно составляет от нескольких сотен тысяч до миллиона токенов. Если окно равно 200 тысячам токенов, в него поместилось бы больше пятидесяти уроков вроде нашего первого. Это много, но не бесконечно: большой отчёт, несколько договоров или долгий разговор могут занять его целиком. Почему в окно попадает вся переписка и что происходит, когда оно заполняется, мы подробно разберём в третьем уроке.
Второе ограничение касается длины ответа. Помимо окна, у модели обычно есть предел на число токенов, которое она может написать за один раз. Если ответ дорастает до этого предела, текст обрывается, даже если мысль не закончена. В таком случае обычно достаточно попросить модель продолжить. Как мы знаем из первого урока, модель продолжает текст, и всё написанное ранее для неё — начало, к которому она допишет следующие токены.
- Предыдущая переписка в чате
- Приложенные документы
- Сообщение
- Ответ у него ещё и свой предел длины
- Свободное место
Пропорции условные. У современных моделей окно — от нескольких сотен тысяч до миллиона токенов.
Наконец, в токенах считают и стоимость. При работе через API, то есть когда модель подключают к собственной программе, оплата идёт за каждый токен, и токены при этом делятся на два вида. Входные токены — это всё, что модель получает: сообщение, приложенные документы, инструкции, а в чате ещё и предыдущая переписка. Выходные токены — это то, что модель пишет: ответ, а у моделей, которые рассуждают перед ответом, ещё и черновик рассуждения, даже если пользователь его не видит. В тарифах и счетах их так и называют, по-английски input и output tokens.
Выходные токены стоят заметно дороже входных, и причина кроется в том, как модель работает. Весь полученный текст она может обработать разом, за один проход, а ответ, как мы знаем из первого урока, пишет по одному токену, и на каждый новый токен уходит отдельный шаг вычислений. Например, у Claude Opus 5.5 миллион входных токенов стоит 4 доллара, а миллион выходных — 20; у GPT-6 Astra — 10 и 50 долларов. В обоих случаях выходной токен дороже входного в пять раз. Поэтому на итоговый счёт заметно влияют и длинные ответы, и долгие рассуждения, о которых мы подробнее поговорим в шестом уроке, и большие документы, которые прикладывают к каждому запросу.
Что из этого следует
Подведём итог. Модель работает с токенами — фрагментами текста из заранее составленного словаря, которые она получает в виде номеров. Словарь строится по тому, какие сочетания чаще встречаются в большой коллекции текстов, поэтому частые слова в нём есть целиком, а редкие собираются из частей. Хотя токены кажутся технической подробностью, из этого вытекают три вполне практических следствия.
Первое: модель не видит букв напрямую. Задачи, где важны отдельные символы, — подсчёт букв, точная длина текста, вычисления с длинными числами — даются ей хуже, чем можно ожидать от программы, которая так хорошо пишет, и их результат стоит проверять.
Второе: размер текста для модели измеряется в токенах, и один и тот же текст на разных языках и в разных моделях занимает разное число токенов. Если от этого зависят деньги или лимиты, полезно посчитать токены на своих текстах в токенизаторе той модели, с которой идёт работа.
Третье: окно контекста и длина ответа ограничены. Оборвавшийся ответ можно попросить продолжить, а вот слишком большой объём материалов в окно просто не поместится. Как эти ограничения проявляются в обычном чате, мы увидим в следующем уроке.