Демо-стенд
20 писем выборки замера отложены: система их не видела. Финальный замер на них ещё не проведён. Журнал каждого вызова модели есть: что ушло, что вернулось, какая модель.
Главная / Как агент учится
Пять шагов. Последний возвращает к первому.
менеджеродна отметка: почему поправил
Разобранная ошибка становится правилом и проверкой
Каждый круг закрывает одну ошибку. Если ошибку только поправили в тексте, она вернётся. Проверка ловит ту ошибку, под которую написана. Похожую, но другую ошибку она может пропустить - её покажет следующий замер (5.3), и круг пойдёт снова.
Как это будет у вас. На пилоте с первого дня записываем в канон правило: цифра эффекта появляется в отчёте только после замера. Проверяющий агент сверяет каждое число в отчёте с журналом замера. Нет числа в журнале - отчёт возвращается автору.
Первый шаг сотрудника: одна отметка в привычной проверке
Менеджер не пишет отчётов об ошибках и не учит новую программу. Он и так проверяет спорную строку в черновике КП - там же, где черновик появился (почта или CRM, план пилота).
Это разбор (шаг 3 цикла), только его первый кусок делает тот, кто ошибку увидел. Остальное - записать правило и проверку - делаю я или проверяющий агент.
Черновик КП
На следующий деньПо вашей правке записано правило: ...
для холдинга Кнопка встраивается в вашу CRM вместе с вашим ИТ. Правило из правки менеджера попадает в канон только после разбора владельцем процесса: один менеджер мог ошибиться.
для небольшой компании Если черновики проверяет сам владелец процесса, список «что выучено за неделю» он читает в пятницу, отдельного разбора не нужно.
За этим стоят три документа.
Описание компании и процесса для агента: кто мы, как идёт работа, какие правила нельзя нарушать, кто что решает. Все агенты читают его перед работой.
Единственный источник фактов: цены, условия, цифры, имена. Если факта там нет, агент не вправе его написать, даже правдоподобный. Новый факт сначала попадает в фактуру, потом в текст.
Кто проверяет результат, прежде чем он уйдёт клиенту или наружу, и кто ставит отметку «готово».
Пример
Агент пишет клиенту, что доставка - два дня. В фактуре записано «три-пять рабочих дней». Без фактуры агент ошибся бы уверенно. С фактурой проверяющий агент видит расхождение и возвращает письмо.
Канон и единый источник фактов я выработал на своих системах, когда упёрся в потерю контекста в длинных сессиях с моделью.
Канон и фактура от инструмента не зависят: это обычные документы. На чём строим агентов у вас, решает маршрут данных. Агенты для разработки (Claude Code, Codex) для российской компании официально недоступны, см. раздел 4. Законный путь - GigaChat API, Yandex AI Studio, n8n или своя открытая модель.
для ИТ-директора Пять правил. Без них «модель хорошо справляется» - мнение.
Что считаем в замере: главное - доля строк, где система уверена и ошиблась; плюс доля строк человеку и время с проверкой (раздел 6.3).
20 писем выборки замера отложены: система их не видела. Финальный замер на них ещё не проведён. Журнал каждого вызова модели есть: что ушло, что вернулось, какая модель.
Спроектировал и собрал, рабочий локальный MVP. Модель обязана сослаться на источник, код проверяет цитату. Качество оценивается на эталонном наборе (golden eval), правила держат 611 автотестов.
для небольшой компании В небольшой компании предлагаю набор для замера из 20-30 реальных писем или документов с правильными ответами. Размечает их владелец процесса. Раз в месяц прогоняем и смотрим, не стало ли хуже. Это грубая проверка: долю ошибок по строкам на таком наборе видно, редкие случаи (плохой скан, необычный формат) - нет.
для холдинга В холдинге набор больше и разбит по видам документов. Журнал хранится внутри контура, результаты прогона видит не только автор настройки, но и ИТ. Если в журнале есть персональные данные, он сам становится базой с ними: срок хранения и доступ согласуем с ИБ (по нашей оценке, проверяет ваш юрист; раздел 4.5). Размер набора и частоту прогона согласуем на пилоте.
Есть агенты, которые сами записывают себе навыки. Что они выучили, всё равно проверяет человек.
После сложной задачи агент сохраняет удачный способ как навык и улучшает его по ходу работы. Навыки - обычные файлы. Агент сохраняет их, когда прошёл многошаговую работу, нашёл обход ошибки или пользователь поправил его подход. Сам я Hermes не применял, описываю по документации.
Одобрение человеком в Hermes включается отдельной настройкой. Тогда каждый новый навык ждёт решения «принять» или «отклонить». Если будем использовать Hermes у вас, эту настройку включаем с первого дня.
Если пользователь поправил его неправильно, агент запомнит неправильное. Навык по одному случаю может стать правилом для всех.
Агент сохраняет то, что сработало сейчас. Сработает ли это на наборе, которого он не видел, покажет только замер из 5.3.
Поэтому навык, который агент записал сам, для меня черновик правила. В канон он попадает после разбора человеком и проверки на отложенном наборе.
Человек: принять?
С какой моделью работает агент, решает маршрут данных: Hermes подключается к любой модели, и с облачной моделью данные уходят её поставщику (раздел 4.1).