О чём этот урок
В этом уроке мы рассмотрим, откуда модель берёт сведения, которые использует в ответах. В предыдущих уроках мы выяснили две вещи: модель продолжает текст, опираясь на то, что усвоила при обучении, а о конкретном разговоре знает только то, что есть в запросе. Теперь соединим эти две линии и посмотрим, какие знания у модели есть, насколько им можно доверять и что меняется, когда нужные сведения оказываются прямо в запросе.
От этого напрямую зависит, насколько помощник полезен в работе. Модель без запинки пересказывает классику и объясняет устройство налоговой системы. И та же модель может не знать о событиях прошлого месяца, перепутать даты или детали и, как мы видели в первом уроке, уверенно сослаться на источник, которого не существует. При этом стоит приложить к вопросу нужный документ или включить поиск в интернете, и ответ становится заметно точнее. Чтобы понимать, когда модели можно доверять, а когда ей нужно помочь, важно знать, как устроены её знания.
Сначала мы разберём, какие сведения модель усваивает при обучении и почему одни из них прочнее других. Затем поговорим о границе знаний: почему модель ничего не знает о недавних событиях и почему сама не всегда понимает, где эта граница проходит. После этого выясним, откуда берутся выдуманные факты. В конце урока посмотрим, как работают поиск в интернете и приложенные файлы, и поймём, почему сведения, данные в запросе, обычно надёжнее того, что модель помнит сама.
Что модель усваивает при обучении
Начнём с того, как знания вообще попадают в модель. Как мы выяснили в первом уроке, модель учится предсказывать следующий токен на огромном количестве текстов, и сведения о мире откладываются в её параметрах потому, что помогают точнее угадывать продолжение. Если в обучающих текстах много раз встречается, что столица Франции — Париж, модели выгодно это усвоить: тогда после слов «столица Франции —» она уверенно предскажет «Париж».
Из этого следует важная особенность: прочность знаний зависит от того, как часто сведения встречались в обучающих текстах. Факт, который повторялся в тысячах книг, статей и сайтов, модель, как правило, усваивает прочно. Так же прочно, впрочем, она может усвоить и распространённое заблуждение, если оно повторялось столь же часто. Сведения, которые попались ей лишь несколько раз, отпечатываются в параметрах слабо, и модель воспроизводит их неуверенно, а порой с ошибками. Это может быть, например, дата основания небольшой компании или имя автора малоизвестной статьи. Частных же сведений, которых в обучающих текстах не было совсем, модель знать не может: содержания внутренних документов компании, личной переписки, данных из закрытых систем. Рассуждать о таких вещах она способна, но конкретные факты ей взять неоткуда.
Хорошо это видно на знакомых каждому текстах. Мы попросили две современные модели, на которых проверяли примеры этого курса, кратко пересказать рассказ Чехова «Хамелеон». Этот рассказ много раз переиздавали, разбирали в школьных учебниках и обсуждали в сети. Обе модели пересказали его точно, вплоть до имён персонажей: надзирателя Очумелова, золотых дел мастера Хрюкина и генерала Жигалова.
Стоит обратить внимание и на то, как устроены эти знания. Как мы говорили в первом уроке, они не лежат в модели отдельными записями: всё усвоенное распределено по параметрам, и сведения о похожих предметах в них переплетаются друг с другом. Поэтому модель хорошо улавливает общие закономерности: как обычно устроены договоры аренды, чем отличаются виды налогов, как пишут код на популярных языках программирования. Но там, где нужно точно воспроизвести конкретную деталь, сведения о похожих предметах могут смешаться. Модель может приписать одному учёному открытие его коллеги или назвать год, близкий к правильному, но не совпадающий с ним. И сделает она это тем же уверенным тоном, каким пересказывает «Хамелеона».
Где проходит граница знаний
Знания модели ограничены не только тем, что было в обучающих текстах, но и тем, когда эти тексты собирали. Коллекцию текстов для обучения собирают до определённого момента, и о событиях, которые произошли позже, модель ничего не знает. Этот момент называют границей знаний. Между границей знаний и днём, когда пользователь задаёт вопрос, обычно проходят месяцы, а нередко и больше года: модель сначала обучают, затем проверяют и выпускают, а потом пользуются ею ещё долго.
Из этого следует, что всё быстро меняющееся, будь то цены, законы, новые версии программ или руководители компаний, модель может знать в устаревшем виде. Причём сама она не всегда это понимает. Модель опирается на то, что было написано в обучающих текстах, и если в них новейшей называлась какая-то определённая версия программы, модель может называть её новейшей и сегодня.
Есть и менее очевидная трудность. О событиях последних месяцев перед границей знаний в обучающих текстах обычно написано меньше, чем о более давних, потому что статьи, обсуждения и упоминания продолжают появляться ещё долго после самого события. Поэтому о последних месяцах перед границей у модели часто меньше сведений, чем о более давнем времени. Если спросить модель о её границе знаний, она может судить о ней по тому, о каких событиях знает, и из-за нехватки сведений о последних месяцах назвать более раннюю дату, чем на самом деле. По этой же причине узнавать границу знаний надёжнее из документации разработчика, чем из ответа самой модели.
Между границей и сегодняшним днём обычно проходят месяцы, а нередко и больше года.
Именно поэтому разработчики помощников добавляют в системные инструкции текущую дату и сведения о границе знаний, о которых мы говорили в третьем уроке. Например, в опубликованных инструкциях чата Claude для модели Claude Opus 5.5 указано, что её граница знаний приходится на конец июня 2026 года. Там же сказано, что о более поздних событиях модель может не знать и в таких случаях ей следует предложить пользователю поиск в интернете.
Откуда берутся выдуманные факты
Теперь можно вернуться к вопросу, с которого начался этот курс: почему модель иногда уверенно сообщает то, чего нет. В первом уроке мы ответили на него в общих чертах: модель пишет правдоподобное продолжение текста, а правдоподобие ещё не гарантирует верности. Теперь, когда мы знаем, как устроены её знания, эту картину можно уточнить.
Посмотрим на опыт, который мы провели при подготовке урока. Мы попросили две модели дословно привести первые два предложения четырёх рассказов Чехова, от самого известного к малоизвестным, и сверили ответы с текстами в Викитеке:
| Рассказ | Первая модель | Вторая модель |
|---|---|---|
| «Хамелеон» | дословно | дословно |
| «Злоумышленник» | своими словами, часть деталей выдумана | дословно |
| «Восклицательный знак» | оба предложения выдуманы | смысл верен, но порядок слов изменён, а второе предложение взято из следующего абзаца и переиначено |
| «Сирена» | оба предложения выдуманы | отказалась, объяснив, что не помнит текст достаточно точно |
Самое важное в этой таблице — то, как модели подавали свои ответы. Выдуманные предложения первая модель привела в кавычках, как дословную цитату, без единой оговорки. По тону их невозможно отличить от точной цитаты из «Хамелеона»: в «Злоумышленнике», например, мужичонка оказался одет в ситцевую поддёвку и лапти, хотя у Чехова на нём пестрядинная рубаха и латаные порты.
Результат хорошо согласуется с тем, о чём мы говорили в начале урока. «Хамелеон» — один из самых издаваемых и обсуждаемых рассказов Чехова, и, судя по всему, модели встречали его при обучении так часто, что его начало воспроизводится точно. Чем реже текст встречался, тем слабее он отпечатался в параметрах, однако модель всё равно может составить правдоподобное продолжение из того, что знает: имён персонажей, места действия, чеховской манеры. Так получаются предложения, похожие на чеховские и даже содержащие верные детали, но в рассказе их нет. Например, в выдуманном начале «Сирены» верно угадано, что действие происходит в суде города N, а сами предложения не имеют ничего общего с настоящими. Это и есть смешение, о котором шла речь выше: сведения о похожих предметах сливаются в один уверенный ответ.
Вторая модель в последнем случае повела себя иначе и отказалась приводить цитату. Как мы говорили в первом уроке, помощников при обучении приучают признавать, когда сведений не хватает. Так, на вопрос о рассказе «Пятничный самовар», которого у Чехова нет, обе модели честно ответили, что такого рассказа не знают. Однако полагаться на это нельзя. Первая модель, которая не поддалась на выдуманное название, уверенно сочинила начало настоящего, но малоизвестного рассказа, а разные модели в одной и той же ситуации ведут себя по-разному.
Из этого опыта следует практическое правило. Точнее всего модель воспроизводит то, что много раз встречалось в текстах, и чем реже предмет, тем выше риск ошибки. Особенно внимательно стоит относиться к точным цитатам, цифрам, датам, названиям документов и ссылкам на источники: ошибку в них труднее всего заметить, а правдоподобно они выглядят даже тогда, когда выдуманы.
Сведения из запроса
До сих пор мы говорили о знаниях, которые модель усвоила при обучении. Но, как мы выяснили в третьем уроке, у модели есть и второй источник сведений — текст запроса, и работает он совсем иначе. Сведения из параметров модели приходится восстанавливать, а сведения из запроса находятся у неё прямо перед глазами, и пересказать их гораздо проще, чем вспомнить.
Мы проверили это на простом примере. Обеим моделям мы задали вопрос о том, за сколько дней в компании «Северный ветер» нужно согласовать отпуск с руководителем. Компания придумана для примера, и её правил в обучающих текстах быть не могло, поэтому обе модели ответили, что не знают их. Затем мы задали тот же вопрос, добавив перед ним фрагмент внутреннего регламента, где указан срок, и обе модели сразу дали точный ответ: за 21 календарный день.
Отсюда главный практический вывод урока: если для задачи важны точные сведения, их лучше дать модели в запросе, чем надеяться, что она их помнит. Это относится к внутренним документам, свежим данным, точным формулировкам законов и договоров, цифрам из отчётов. Даже если модель встречала нужный текст при обучении, с документом перед глазами она ошибается гораздо реже, чем по памяти. Ошибиться она может и в этом случае, например неверно прочитать таблицу или смешать сведения из документа со своими, но риск заметно ниже.
Как работают поиск и файлы
Многие помощники умеют сами искать сведения в интернете и читать приложенные файлы. Со стороны это выглядит так, будто модель заглянула в сеть или открыла документ. На деле, как и в случае с памятью из третьего урока, с внешним миром работает программа чата, а модели достаётся текст.
С поиском это происходит так. Получив вопрос, модель решает, что ей нужны свежие сведения, и пишет в ответе особую команду с поисковым запросом. Программа чата выполняет поиск, загружает найденные страницы или их фрагменты и добавляет этот текст в запрос. После этого модель продолжает работу, уже имея найденные сведения перед глазами, и пишет ответ, нередко со ссылками на источники. Как устроен такой обмен командами между моделью и программой, мы подробно разберём в пятом уроке.
С файлами всё устроено похоже. Когда пользователь прикладывает документ, программа извлекает из него текст и добавляет в запрос. Модели, которые умеют работать с изображениями, могут получать и картинки, например страницы документа или схемы, но и они становятся частью того же запроса. Однако очень большой файл или много файлов сразу могут не поместиться в окно контекста. Программы поступают в таком случае по-разному: одни сообщают, что файл слишком велик, другие обрезают его, а многие ищут в документе фрагменты, которые по смыслу ближе всего к вопросу пользователя, и вставляют в запрос только их.
Из этого следуют два обстоятельства, которые важно учитывать в работе. Во-первых, ответ хорош настолько, насколько хороши сведения, попавшие в запрос. Если поиск нашёл устаревшую статью или ненадёжный сайт, модель может опереться на них так же уверенно, как на надёжный источник. Современные модели нередко замечают устаревшую дату или противоречия между источниками, но делают это не всегда. Во-вторых, модель видит только то, что программа вставила в запрос. Если из большого документа в запрос попали не те фрагменты, модель может ответить так, будто нужного раздела в документе нет, или восполнить недостающее по памяти. Поэтому, когда важна точность, полезно проверить, на какие источники сослалась модель, а нужный раздел документа вставить в сообщение явно. О том, как проверять ответы, подробно поговорим в седьмом уроке.
Что из этого следует
Подведём итог. У модели два источника сведений: знания, усвоенные при обучении, и текст запроса, в который чат добавляет переписку, инструкции, результаты поиска и содержимое файлов. Из такого устройства знаний следуют три вещи, о которых полезно помнить, когда от ответа модели зависит что-то важное.
Первое: знания из обучения неравномерны. То, что много раз встречалось в текстах, модель воспроизводит увереннее, хотя и это может оказаться распространённым заблуждением. Редкие сведения она знает хуже, а о событиях после границы знаний не знает вовсе. Чем реже встречается тема и чем она новее, тем осторожнее стоит относиться к ответу.
Второе: модель может уверенно ошибаться, смешивая похожие сведения. Помощников учат признавать незнание, но полагаться на это нельзя, особенно когда речь идёт о точных цитатах, цифрах, датах и ссылках.
Третье: сведения из запроса модель воспроизводит точнее, чем вспоминает по памяти. Проверять ответ всё равно нужно, потому что источник может оказаться неверным, а модель может неверно его прочитать. Если для задачи важны точные данные, их лучше дать модели прямо: приложить документ, вставить нужный фрагмент или включить поиск, а затем проверить, на что модель опиралась.
В следующем уроке мы посмотрим, как помощник сам ищет сведения, читает файлы и выполняет действия, и разберём, как из этого получаются агенты.