О чём этот урок
В этом уроке мы рассмотрим, как устроен разговор с моделью в чате и что модель на самом деле помнит. В первых двух уроках мы говорили о ней как о программе, которая получает текст, разбитый на токены, и продолжает его токен за токеном. Однако в чате мы обычно ведём разговор: задаём вопрос, получаем ответ, уточняем, просим что-то переделать, и модель учитывает всё, что было сказано раньше. Поэтому естественно предположить, что она запоминает разговор так же, как его запомнил бы собеседник.
Такое представление удобно, но оно плохо объясняет то, с чем рано или поздно сталкивается каждый, кто много работает с ИИ-помощником. В новом чате модель ничего не знает о предыдущем, даже если тот был открыт минуту назад. В очень длинном разговоре она начинает забывать договорённости из его начала, путаться в деталях и повторяться. Иногда помощник ведёт себя так, будто получил указания, которых пользователь ему не давал: придерживается определённого тона, избегает каких-то тем или сам предлагает поискать сведения в интернете. А некоторые помощники помнят сведения о пользователе из прошлых разговоров. Всё это объясняется тем, как устроен чат, и, разобравшись в этом устройстве, гораздо проще понять, когда стоит продолжить разговор, а когда лучше начать новый.
Сначала мы посмотрим, что получает модель, когда мы отправляем в чат очередное сообщение. Затем разберём, что ещё чат добавляет к нашей переписке, и вернёмся к окну контекста из второго урока, чтобы понять, почему длинные разговоры со временем портятся. В конце урока выясним, как работает функция памяти, которая есть у многих ИИ-помощников, и разберёмся, когда разговор лучше продолжить, а когда начать заново.
Что получает модель при каждом сообщении
Начнём с того, что мы уже знаем о модели. Она получает текст и пишет его продолжение, а когда ответ готов, её работа над запросом заканчивается. Как мы выяснили в первом уроке, во время разговора параметры модели не меняются, поэтому записать что-то о нашем разговоре внутрь себя она не может. Откуда же тогда модель знает, что было сказано несколько сообщений назад?
Разговор хранит программа чата. Каждый раз, когда мы отправляем новое сообщение, она собирает всю предыдущую переписку, то есть наши сообщения и ответы модели. Затем добавляет в конец новое сообщение и передаёт всё это модели как один текст. Модель читает разговор заново, от первой реплики до последней, и продолжает его ещё одним ответом. Это похоже на то, как если бы на каждое сообщение отвечал новый сотрудник. Вместе с вопросом ему передают распечатку всей предыдущей переписки, и хотя сам он ничего не помнит, всё нужное у него перед глазами.
- Анна отправляет первое сообщение. Программа чата на серверах сохраняет его и передаёт модели, а потом сохраняет и ответ.
- С ноутбука уходит только новое сообщение. Программа чата добавляет его к сохранённой переписке и передаёт модели уже три сообщения.
- Вместе с третьим вопросом модель получает все пять сообщений. Имя Анны она находит в переписке, которую прочитала заново.
Посмотрим, как это выглядит на примере. Допустим, пользователь уже обменялся с помощником двумя репликами и задаёт третий вопрос. Тогда модель получит примерно такой текст:
- Пользователь: Меня зовут Анна, я веду проект по переезду офиса.
- Ассистент: Приятно познакомиться, Анна! Чем помочь с переездом?
- Пользователь: Составь список задач на первую неделю.
- Ассистент: 1. Согласовать дату переезда. 2. Выбрать транспортную компанию. 3. Составить опись мебели и техники.
- Пользователь: Как меня зовут и каким проектом я занимаюсь?новое сообщение
Чтобы модель различала, где чья реплика, чат отмечает их начало и конец особыми служебными токенами; в примере мы для наглядности заменили их подписями «Пользователь» и «Ассистент». Получив такой текст, модель без труда ответит, что пользователя зовут Анна и что она занимается переездом офиса: оба факта есть прямо в тексте, который модель продолжает.
Мы проверили это на двух современных моделях. Когда вопрос пришёл вместе с предыдущей перепиской, обе правильно назвали и имя, и проект. Когда же мы отправили тот же вопрос отдельно, без переписки, обе ответили, что не знают ни имени, ни проекта, потому что в полученном тексте этих сведений не было. Именно это происходит в новом чате: программа начинает собирать переписку с чистого листа, и сказанное в других разговорах в запрос не попадает. Исключение составляет функция памяти, о которой мы поговорим в конце урока.
Что ещё чат добавляет к переписке
Однако переписка — это ещё не всё, что попадает в запрос. Перед первым сообщением пользователя программа чата ставит текст, который пишут разработчики помощника. Его называют системными инструкциями или системным промптом, и пользователь его обычно не видит. В нём объясняется, кто такой помощник и как ему себя вести: каким тоном отвечать, как обращаться с острыми темами, когда предлагать поиск в интернете и какими ещё возможностями чата можно воспользоваться. Туда же добавляют сведения, которых у модели иначе бы не было, например сегодняшнюю дату. Модель знает о мире только то, что было в текстах, на которых её обучали, и без такой подсказки не могла бы знать, какой сегодня день.
Обычно системные инструкции не публикуют, но бывают исключения. Например, компания Anthropic выкладывает на своём сайте системные инструкции чата Claude. В версии от октября 2026 года в них, среди прочего, указаны текущая дата и примерная граница знаний модели, то есть время, до которого собраны тексты для её обучения. Там же есть правила обращения с острыми темами, указания о том, как вести себя после собственной ошибки, и список возможностей чата, которые модель может предложить пользователю.
Устроено всё это так же, как с перепиской: системные инструкции — это просто текст в начале запроса, отмеченный служебными токенами. Модели, на которых работают помощники, при обучении приучают придавать таким инструкциям больший вес, чем сообщениям пользователя, поэтому помощник обычно следует им, даже если пользователь просит об обратном. Отсюда во многом и то поведение, которое мы упоминали в начале урока: тон, ограничения и привычка предлагать поиск отчасти закладываются при обучении, а отчасти задаются в инструкциях, которых пользователь не видел.
С подобным мы столкнулись и при подготовке этого урока. Проверяя пример с Анной, мы сначала запустили модель через программу, которая сама добавляет в системные инструкции название папки на компьютере, откуда её вызвали. На вопрос «Как меня зовут и каким проектом я занимаюсь?» без предыдущей переписки модель ответила, что имени не знает, но по названию папки предположила, над каким проектом идёт работа. О папке в вопросе не было ни слова, однако эти сведения были в тексте, который получила модель, и она ими воспользовалась.
Так же в запрос попадают и настройки, которые задаёт сам пользователь. Если в настройках помощника указано, как обращаться к пользователю или в каком стиле отвечать, или разговор идёт внутри проекта с общими инструкциями, программа чата добавляет этот текст в запрос. Таким же образом к модели попадают приложенные файлы и результаты поиска в интернете, и подробнее об этом мы поговорим в четвёртом уроке.
- Системные инструкцииот разработчиков: правила, тон, сегодняшняя дата
- Настройки и инструкции проектато, что задал сам пользователь
- Заметки из памятиесли функция памяти включена
- Файлы и результаты поискаесли они есть
- Вся предыдущая перепискасообщения пользователя и ответы модели
- Новое сообщението, что пользователь отправил сейчас
Упрощённо: порядок и состав зависят от помощника. Модель получает всё это одним текстом.
Почему длинные разговоры портятся
Теперь, когда понятно, из чего складывается запрос, можно вернуться к окну контекста из второго урока. Напомним, что это наибольшее число токенов, которое модель может учесть за один раз. Поскольку чат при каждом сообщении отправляет модели весь разговор, запрос с каждым новым сообщением становится длиннее.
Посмотрим, как быстро он растёт. Допустим, каждый обмен репликами, то есть вопрос вместе с ответом, занимает около 600 токенов, или примерно 350 слов русского текста. Тогда после десяти обменов каждый новый запрос будет занимать около 6 тысяч токенов, а после пятидесяти — около 30 тысяч, не считая системных инструкций. Поскольку разговор каждый раз читается заново, токены всех пятидесяти запросов складываются, и за пятьдесят ответов модели в сумме придётся обработать больше 750 тысяч токенов.
| Запрос | Токенов |
|---|---|
| 1-й обмен | 600 |
| 10-й обмен | 6 000 |
| 50-й обмен | 30 000 |
За все пятьдесят ответов модель обработает больше 750 тысяч токенов: разговор каждый раз читается заново.
В обычном чате пользователь этого не замечает. Но при работе через API, то есть при подключении модели к собственным программам, оплата идёт за токены, и каждый из этих пятидесяти запросов оплачивается целиком. Поэтому длинные разговоры обходятся заметно дороже коротких.
Часть этих затрат снимает кеширование. Обработав запрос, провайдер может на время сохранить результат обработки его начала. Если следующий запрос начинается точно так же, эту часть не нужно обрабатывать заново, и такие входные токены стоят в 10–20 раз дешевле обычных: например, у GPT-6 Astra — 1 доллар за миллион вместо 10. В разговоре это срабатывает само собой, ведь каждый новый запрос — это прежняя переписка плюс одно новое сообщение, то есть его начало совпадает с предыдущим запросом.
Стоит остановиться на двух условиях, без которых кеш не работает. Первое: совпадать должно именно начало запроса, слово в слово. Если изменить что-то в начале, например поправить системные инструкции или первое сообщение, всё, что идёт после изменения, обрабатывается и оплачивается заново. Второе: кеш живёт недолго — у разных провайдеров от пяти минут до получаса с последнего обращения, — поэтому после долгой паузы разговор снова обрабатывается полностью. Из этого вытекает практический вывод для тех, кто подключает модель к своим программам: неизменную часть запроса (инструкции, документы, примеры) стоит ставить в начало, а то, что меняется от запроса к запросу, — в конец.
Для разработчиков
Запись в кеш стоит немного дороже обычной обработки: при стандартном сроке жизни у Anthropic и OpenAI — в 1,25 раза. За доплату срок можно продлить до часа (Anthropic) или 12 часов (OpenAI). Кешируется только достаточно длинное начало запроса: от 512 токенов у Claude Opus 5.5 и Sonnet 5.5 и от 1024 токенов у GPT-5.6 и новее. У OpenAI кеширование срабатывает автоматически, у Anthropic его включают параметром cache_control. Сколько токенов взято из кеша, видно в данных об использовании (usage) в ответе API.
Когда же разговор перестаёт помещаться в окно, программе чата приходится что-то предпринимать. Разные помощники поступают по-разному: одни незаметно отбрасывают самые старые сообщения, другие заменяют их кратким пересказом, третьи предлагают начать новый разговор. В первых двух случаях модель перестаёт видеть начало разговора целиком, и договорённости из первых сообщений могут потеряться.
Однако качество может падать и раньше, задолго до того, как окно заполнится. Чем длиннее текст, тем менее надёжно модель учитывает отдельные детали в нём. Требование из первого сообщения оказывается под десятками более поздних реплик, и модель всё чаще его упускает.
Есть и ещё одна причина, которая следует из первого урока. Ответы модели остаются в переписке и становятся частью текста, который она продолжает. Если в одном из ранних ответов была ошибка, она так и остаётся в запросе, даже если пользователь на неё указал, и продолжает влиять на следующие ответы. Поэтому в длинном разговоре, где накопилось много неудачных попыток, модель нередко возвращается к уже исправленной ошибке.
Из этого следует практический вывод. Если разговор стал длинным и модель начала путаться, полезнее начать новый чат и коротко изложить в первом сообщении всё важное: задачу, договорённости и то, к чему уже удалось прийти. Такой запрос получится короче и чище, и модели не придётся пробираться через накопившиеся черновики.
Как работает функция памяти
Остаётся последний вопрос из начала урока: как некоторые помощники помнят пользователя от разговора к разговору, если модель ничего не хранит. Ответ уже знаком по предыдущим разделам: памятью управляет программа чата, а модели достаётся только текст.
Функции памяти у разных помощников устроены по-разному, но обычно в их основе лежат два приёма. Первый — заметки о пользователе. Программа хранит отдельно от переписки короткие сведения: как зовут пользователя, чем он занимается, какие ответы предпочитает. Решить, что сведения стоит запомнить, может сама модель: заметив в разговоре что-то полезное на будущее, она пишет в ответе особую команду, программа чата её распознаёт и сохраняет заметку. То же происходит, если пользователь прямо попросит что-то запомнить. Такой обмен командами между моделью и программой подробно разобран в пятом уроке, где речь пойдёт об инструментах. В новом разговоре программа добавляет эти заметки в запрос рядом с системными инструкциями. Второй приём — поиск по прошлым разговорам: программа находит в них фрагменты, которые относятся к новому вопросу, и тоже вставляет их в запрос.
- Зовут Анна
- Ведёт проект по переезду офиса
- Предпочитает короткие ответы по пунктам
Пример условный. В новом разговоре программа добавит эти строки в запрос рядом с системными инструкциями.
Модель при этом по-прежнему не меняется: всё, что «помнит» помощник, хранится в программе чата и попадает к модели в виде текста запроса. Из этого следуют две вещи, которые важно учитывать в работе. Во-первых, заметки могут устареть или оказаться неточными, и тогда они будут незаметно влиять на ответы, ведь модель воспринимает их так же, как любой другой текст запроса. Во-вторых, в память может попасть то, что пользователь не хотел бы переносить в другие разговоры, например подробности рабочего проекта. Поэтому полезно время от времени заглядывать в настройки памяти. Во многих помощниках сохранённые сведения можно просмотреть, исправить или удалить, память можно отключить, а для отдельных разговоров есть временный режим, в котором она не используется и не пополняется.
Что из этого следует
Подведём итог. Модель ничего не хранит между сообщениями. Разговор хранит программа чата и при каждом сообщении отправляет его модели целиком или, если он слишком длинный, в сокращённом виде, вместе с системными инструкциями, а иногда и с заметками из памяти. Всё, что модель знает о разговоре и о пользователе, она узнаёт из этого текста. Для работы в чате отсюда следуют три важные вещи.
Первое: о разговоре модель знает только то, что есть в запросе. Сведения о мире она усвоила при обучении, но всё, что касается конкретного разговора и пользователя, ей неоткуда взять, кроме текста запроса. Новый чат начинается с чистого листа, если не считать того, что добавит функция памяти, и если для задачи важны сведения из прошлого разговора, надёжнее передать их заново. По той же причине странное поведение помощника часто объясняется тем, что попало в запрос помимо сообщения пользователя: системными инструкциями, настройками или памятью.
Второе: чем длиннее разговор, тем выше риск, что модель начнёт путаться. Запрос растёт, ранние договорённости теряются среди более поздних реплик, а ошибки из прошлых ответов продолжают влиять на новые. Когда модель начинает путаться, лучше начать новый чат с кратким изложением всего важного.
Третье: память помощника — это тоже текст, который программа добавляет в запрос. Она влияет на ответы так же, как любая другая часть запроса, поэтому её содержимое стоит время от времени проверять.
В следующем уроке мы продолжим разбираться с тем, что попадает в запрос, и посмотрим, откуда модель берёт сведения о мире: что она усвоила при обучении, а что получает из поиска и приложенных файлов.