promt.engineer Основы работы с ИИ/Урок 8 из 8
Урок 8 из 8 · ≈ 13 минут

Как ставить задачу модели

Что модели нужно знать о задаче, из каких частей складывается хороший запрос, как исправлять ответ и как ставить задачу агенту.

Начать читать

О чём этот урок

В этом уроке мы рассмотрим, как ставить модели задачу так, чтобы результат с первого раза был как можно ближе к нужному. Это последний урок курса, и в нём мы соберём вместе всё, о чём говорили раньше: как модель составляет ответ, что она видит в запросе, что знает сама, как работают инструменты, рассуждение и проверка.

Многие ждут от такого урока набора особых формулировок, которые заставят модель работать лучше. Однако хороший запрос держится на понимании того, что модели нужно для работы, и волшебные слова здесь мало что решают. Если вспомнить предыдущие уроки, всё сводится к одному: о задаче модель знает только то, что есть в запросе, а всё остальное ей приходится обходить заглушками или восполнять вероятным, то есть самым обычным для таких текстов, продолжением. Поэтому умение ставить задачу — это умение заранее сказать модели то, что иначе ей пришлось бы угадывать.

Сначала мы посмотрим на опыте, что происходит, когда в запросе не хватает сведений. Затем разберём, из каких частей складывается хорошая постановка задачи: цели, материалов, ограничений, примера и формата ответа. После этого поговорим о том, как исправлять неудачный ответ, и о том, как ставить задачу агенту, который будет работать самостоятельно. В конце урока, как обычно, соберём выводы, а заодно подведём итог всему курсу.

Что происходит, когда в запросе не хватает сведений

Начнём с опыта. Мы попросили две модели написать письмо клиенту о задержке поставки и сформулировали задачу одной фразой: «Напиши письмо клиенту о задержке поставки». Обе модели написали аккуратные письма, но пользы от них немного. В письме первой модели оказалось девять заглушек в квадратных скобках вроде [номер], [дата] и [имя], в письме второй — десять. Ни номера заказа, ни дат, ни имени клиента модели не знали и честно оставили для них пустые места.

Интереснее другое. Не зная ничего о ситуации, обе модели добавили от себя обещания, которые звучат естественно, но могут не соответствовать действительности. Первая пообещала прислать следующие новости о заказе к определённой дате, вторая — отправить уведомление со ссылкой для отслеживания груза. В деловых письмах такие фразы встречаются часто, поэтому для модели они вероятное продолжение. Но если у компании нет отслеживания заказов, письмо с таким обещанием создаст ей проблему.

Затем мы поставили ту же задачу подробно. Вот как выглядел этот запрос целиком:

Подробный запрос целиком: части задачи подписаны
Напиши письмо клиенту о задержке поставки. Цель: сохранить доверие клиента и договориться о новой дате. Что известно: клиент — Ольга Сергеевна Миронова, закупщик сети кофеен «Зерно». Заказ № 4512 — 40 кофемолок, обещали привезти 18 ноября. Поставщик задержал партию на таможне, новая дата — 25 ноября. В качестве извинения бесплатно доставим заказ (обычно доставка стоит 6 000 рублей). Ограничения: не больше 120 слов, без канцелярита и без обещаний, которых нет в этих сведениях. Тон: вежливый и деловой, без лишних извинений. Формат: тема письма отдельной строкой, затем текст.

На этот раз обе модели написали письма длиной 74 и 63 слова, без единой заглушки и со всеми нужными сведениями. Такие письма почти можно было отправлять. В одном из них, правда, нашлась фраза, которой мы не просили, и к ней мы вернёмся в разделе об исправлении ответа.

Начало писем в ответ на короткий и на подробный запрос
Запрос одной фразой

Здравствуйте, [имя]!

К сожалению, поставка по заказу № [номер], запланированная на [дата], задерживается. …

Следующее обновление статуса направим не позднее [дата].

9 заглушек и обещание, которого никто не давал

Подробный запрос

Ольга Сергеевна, добрый день!

К сожалению, не сможем доставить 40 кофемолок для сети «Зерно» 18 ноября, как договаривались: партия задержалась на таможне у поставщика. Новая дата доставки — 25 ноября. …

74 слова, ни одной заглушки

Отрывки из настоящих писем GPT-6 Astra из опыта урока.

Этот опыт хорошо показывает, как запрос влияет на результат. Без поиска и документов модель не может сама узнать недостающие сведения: о конкретной ситуации она знает только то, что есть в тексте запроса, как мы видели в третьем и четвёртом уроках. Всё, чего в запросе нет, модели приходится как-то обойти. Явные пробелы вроде номера заказа или даты современные модели часто оставляют заглушками, как в нашем опыте. Там же, где пробел не бросается в глаза, модель восполняет его вероятным продолжением, а вероятное чаще всего оказывается обычным: шаблонное письмо, общие формулировки, привычные для таких писем обещания. Подробный запрос сужает круг вероятных продолжений до тех, которые подходят именно к этой ситуации.

Из чего складывается постановка задачи

Посмотрим теперь, из каких частей состоял подробный запрос и зачем нужна каждая из них. Удобно держать в голове пять частей:

Пять частей постановки задачи
ЧастьЧто в нейЗачем она нужна
Цельдля чего нужен результат и что должно произойти в итогеписьмо, которое должно сохранить доверие клиента, пишется иначе, чем простое уведомление
Материалыфакты, документы и данные, на которые нужно опиратьсяо конкретной ситуации модель ничего не знает, и без материалов в ответе будут заглушки или выдумки
Ограниченияобъём, рамки и то, чего делать нельзяотсекают привычные, но ненужные продолжения, например лишние обещания
Примеробразец того, как должен выглядеть результатмодель подхватывает стиль и устройство текста прямо из запроса
Формат и тонв каком виде нужен ответ (таблица, список, тема и текст письма) и каким тоном его писатьрезультат сразу удобно использовать

В нашем запросе были все части, кроме примера: о нём мы поговорим чуть ниже. Не каждая задача требует всех пяти частей. Для простой просьбы бывает достаточно одной фразы, если всё нужное понятно из неё самой или из предыдущей переписки. Однако чем важнее результат и чем больше в задаче особенностей, о которых модель не может догадаться, тем больше пользы от каждой части.

Отдельно стоит сказать о материалах и примере. Материалы — самая важная часть любой задачи, где нужны точные сведения: как мы видели в четвёртом уроке, сведения из запроса модель воспроизводит гораздо точнее, чем вспоминает. Пример же часто объясняет задачу лучше любого описания. Если показать модели несколько писем, которые компания уже отправляла клиентам, она подхватит их тон, длину и обороты точнее, чем по словам «пиши вежливо и по-деловому». Это тот же механизм, что и в шестом вопросе первого урока, где модель повторила характерные обороты менеджера из вставленного письма. Правда, пример модель может перенять слишком буквально, вплоть до отдельных фраз, поэтому полезно дать несколько разных образцов и прямо сказать, что именно в них важно. Именно так советует делать и Anthropic в руководстве по составлению запросов.

Имеет значение и порядок. Если к задаче прикладываются длинные материалы, их удобнее поставить в начало, а саму задачу и требования — после них. Тогда модель читает задачу, уже имея перед глазами всё нужное, и требования не теряются в середине длинного текста, как это бывает в долгих разговорах из третьего урока. В руководстве Anthropic говорится, что на больших документах вопрос, поставленный после них, в тестах компании давал ответы до 30 процентов лучше, чем вопрос перед ними.

Наконец, если каких-то сведений у модели может не оказаться, полезно разрешить ей сказать об этом или задать вопрос. Фраза «если каких-то сведений не хватает, спроси» даёт модели честную альтернативу тому, чтобы восполнить пробел правдоподобной выдумкой вроде обещаний из нашего первого опыта.

Как исправлять ответ

Даже хорошо поставленная задача не всегда даёт нужный результат с первого раза. Вернёмся к письму. В подробном варианте одна из моделей закончила письмо фразой «Если эта дата неудобна, напишите, когда лучше привезти заказ, — согласуем новый вариант». Звучит любезно, но другой даты у компании нет, и такое предложение создаст у клиента ложные ожидания. Обещания этого в сведениях не было, так что модель нарушила ограничение из запроса. Скорее всего, её подтолкнула цель «договориться о новой дате», которую можно понять и как разрешение предложить выбор. Это хороший пример того, как неточная формулировка одной части запроса может разойтись с другой.

Исправить это можно двумя способами. Можно написать модели что-нибудь вроде «Не совсем то, переделай», а можно точно указать, что не так: «Не предлагай клиенту выбрать другую дату — другой даты, кроме 25 ноября, у нас нет. Попроси только подтвердить 25 ноября. Остальной текст оставь без изменений». Мы проверили оба способа, по два раза на каждой из двух моделей, и сравнили, сколько слов из первого варианта письма осталось во втором.

В наших попытках после точного замечания модели изменили только заключительную фразу и сохранили от 88 до 100 процентов текста. В ответ на «Не совсем то, переделай» они переписали письмо почти заново и сохранили лишь от трети до половины слов. Это и понятно: модель не знает, что именно не понравилось, и угадывает. Вместе с неудачной фразой может исчезнуть и то, что было хорошо, а на её месте появиться новая ошибка. Так и случилось в одной из наших попыток: переписанное письмо закончилось словами «будем ждать вашего ответа, чтобы согласовать новую дату», то есть лишнее предложение пережило переделку, просто в другой форме.

Сколько слов первого варианта письма осталось после исправления
Как попросилиСохранено
Точное замечание88–100%
«Не совсем то, переделай»36–51%

Две модели, по два запуска на каждый способ. Длина столбика — среднее.

Отсюда правило: исправляя ответ, нужно точно сказать, что в нём не так. Стоит назвать конкретное место, объяснить почему, если это не очевидно, и сказать, что менять не нужно. Если же поправок набралось много или модель начала путаться, полезнее начать новый чат с исправленной постановкой задачи, чем продолжать длинную переписку. Как мы знаем из третьего урока, неудачные попытки в истории разговора продолжают влиять на ответы.

Как ставить задачу агенту

Всё сказанное относится и к агентам, но у постановки задачи агенту есть свои особенности. Агент работает много шагов подряд без участия человека и уточнить что-то по ходу может не всегда. Поэтому для него особенно важны две вещи, которые в обычном чате часто подразумеваются сами собой: критерий готовности и границы.

Критерий готовности отвечает на вопрос, как понять, что задача выполнена. Как мы видели в пятом уроке, агент сам решает, когда остановиться, а сообщение «готово» — всего лишь текст модели. Поэтому полезно заранее сказать, что должно быть верно в конце и как это проверить. Например, вместо «исправь ошибку в отчёте» лучше написать: «исправь ошибку в итоговой сумме отчёта; задача выполнена, когда сумма по столбцу совпадает с итоговой строкой; в конце покажи обе цифры». Такой критерий можно проверить, и агент сам может свериться с ним, прежде чем закончить.

Что добавить к задаче для агента
Критерий готовностичто должно быть верно в конце и как это проверить
Границычто можно трогать, чего нельзя, когда остановиться и спросить
Отчётчто сделано, что проверено и как, что осталось под вопросом

Границы определяют, что агенту можно делать, а чего нельзя: какие файлы и сервисы трогать, можно ли что-то удалять или отправлять, что делать, если задача окажется сложнее, чем ожидалось. Часть границ задаётся настройками прав, о которых шла речь в пятом уроке, но и в самой задаче их стоит назвать явно: «работай только с файлами в этой папке», «ничего не отправляй, только подготовь черновик», «если не уверен, остановись и спроси».

Наконец, стоит попросить агента в конце отчитаться так, чтобы отчёт было легко проверить: что сделано, что проверено и каким образом, что не удалось или осталось под вопросом. Такой отчёт не заменяет проверки результата, но подсказывает, куда смотреть в первую очередь.

Что из этого следует

Подведём итог урока. Модель знает о задаче только то, что есть в запросе. Явные пробелы она может оставить заглушками или спросить о них, а остальные восполняет вероятным, то есть обычным, продолжением. Само умение ставить задачу сводится к трём правилам.

Первое: хорошая постановка задачи говорит модели то, что иначе ей пришлось бы угадывать. Цель, материалы, ограничения, пример и формат — пять частей, из которых складывается такой запрос, и чем важнее результат, тем больше пользы от каждой из них.

Второе: исправляя ответ, нужно точно сказать, что в нём не так. Точное замечание обычно меняет то, что нужно, и сохраняет остальное, хотя проверить исправленный вариант всё равно стоит. Просьба же «переделай» заставляет модель угадывать заново.

Третье: агенту, кроме самой задачи, нужны критерий готовности, границы и отчёт, который легко проверить, потому что работает он самостоятельно и его сообщение «готово» само по себе ничего не доказывает.

Итог курса

На этом курс заканчивается. Соберём в одну таблицу главные мысли всех восьми уроков:

Главное из восьми уроков
УрокГлавная мысльЧто это значит в работе
1. Как модель составляет ответмодель продолжает текст, выбирая токены по вероятностямуверенный тон ничего не говорит о правильности ответа
2. Токенымодель видит текст как последовательность токенов из словаряточный счёт и длину текста стоит проверять; лимиты и цены считаются в токенах
3. Чат и памятьмодель ничего не хранит, и чат каждый раз присылает ей разговор, целиком или в сокращённом видедлинный разговор со временем может портиться, а новый чат начинается с чистого листа, если не считать функции памяти
4. Что знает модельзнания из обучения неравномерны и ограничены по времениточные сведения надёжнее дать в запросе
5. Инструменты и агентымодель просит действия, а программа их выполняетправа агента нужно ограничивать, а его отчёт проверять
6. Рассуждениерассуждение — это черновик из тех же токеновоно помогает в многошаговых задачах, но не доказывает правильность
7. Проверка результатаошибки моделей предсказуемыпроверять соразмерно цене ошибки и просить показывать основания
8. Как ставить задачуо задаче модель знает только то, что есть в запроседавать цель, материалы, ограничения, пример и формат

Все эти мысли вытекают из того же устройства, с которого мы начали первый урок: модель раз за разом предсказывает продолжение текста. Если помнить об этом, большинство особенностей её поведения перестают казаться странными, а работа с ней становится заметно предсказуемее.

Курс пройден: впереди вопросы для самопроверки и итоги

Вопросы для самопроверки

Вопрос 1 из 6

Модель попросили «составить план совещания» и получили общий шаблон. Чего не хватило в запросе?