Перейти к содержанию
Павел Фёдоров внедрение ИИ Связаться

Агента ведут по кругу

Пять шагов. Последний возвращает к первому.

  1. ЗадачаЖивая, из процесса: письмо клиента, статья, отчёт.
  2. Агент делаетПо правилам, которые у него есть сейчас.
  3. Разбор ошибкиЧеловек или агент-проверяющий находит, что не так. Конкретно: какое правило нарушено или какого правила не было.

    менеджеродна отметка: почему поправил

  4. Правило в канон и проверка в агентаОшибку не правят руками в одном месте. Правило записывают в общий документ, который читают все агенты, и добавляют проверку под эту ошибку.
  5. СноваСледующая задача идёт уже с новым правилом.

Разобранная ошибка становится правилом и проверкой

Каждый круг закрывает одну ошибку. Если ошибку только поправили в тексте, она вернётся. Проверка ловит ту ошибку, под которую написана. Похожую, но другую ошибку она может пропустить - её покажет следующий замер (5.3), и круг пойдёт снова.

Как это будет у вас. На пилоте с первого дня записываем в канон правило: цифра эффекта появляется в отчёте только после замера. Проверяющий агент сверяет каждое число в отчёте с журналом замера. Нет числа в журнале - отчёт возвращается автору.

Первый шаг сотрудника: одна отметка в привычной проверке

Сотрудник учит агента одним нажатием

Менеджер не пишет отчётов об ошибках и не учит новую программу. Он и так проверяет спорную строку в черновике КП - там же, где черновик появился (почта или CRM, план пилота).

Шаг
Поправил строку - рядом одна кнопка «почему» и три варианта: «не тот товар», «не то количество», «другое». Больше ничего. Действие встроено в то, что человек делает и так: после правки - отметка.
Что он видит
На следующий день в том же окне строка: «По вашей правке записано правило: ...». Правка не пропала, её превратили в правило.
Что видит владелец процесса
Раз в неделю - короткий список: какие правила появились из правок и сколько раз их проверка сработала.

Это разбор (шаг 3 цикла), только его первый кусок делает тот, кто ошибку увидел. Остальное - записать правило и проверку - делаю я или проверяющий агент.

Черновик КП

почему не тот товар не то количество другое

На следующий деньПо вашей правке записано правило: ...

Одно нажатие внутри обычной проверки

Что различается

для холдинга Кнопка встраивается в вашу CRM вместе с вашим ИТ. Правило из правки менеджера попадает в канон только после разбора владельцем процесса: один менеджер мог ошибиться.

для небольшой компании Если черновики проверяет сам владелец процесса, список «что выучено за неделю» он читает в пятницу, отдельного разбора не нужно.

Агент знает только то, что записано

За этим стоят три документа.

  • Канон

    Описание компании и процесса для агента: кто мы, как идёт работа, какие правила нельзя нарушать, кто что решает. Все агенты читают его перед работой.

  • Фактура

    Единственный источник фактов: цены, условия, цифры, имена. Если факта там нет, агент не вправе его написать, даже правдоподобный. Новый факт сначала попадает в фактуру, потом в текст.

  • Регламент выпуска

    Кто проверяет результат, прежде чем он уйдёт клиенту или наружу, и кто ставит отметку «готово».

Пример

Агент пишет клиенту, что доставка - два дня. В фактуре записано «три-пять рабочих дней». Без фактуры агент ошибся бы уверенно. С фактурой проверяющий агент видит расхождение и возвращает письмо.

Канон и единый источник фактов я выработал на своих системах, когда упёрся в потерю контекста в длинных сессиях с моделью.

Канон и фактура от инструмента не зависят: это обычные документы. На чём строим агентов у вас, решает маршрут данных. Агенты для разработки (Claude Code, Codex) для российской компании официально недоступны, см. раздел 4. Законный путь - GigaChat API, Yandex AI Studio, n8n или своя открытая модель.

Откуда известно, что стало лучше

для ИТ-директора Пять правил. Без них «модель хорошо справляется» - мнение.

Эталон к каждой задаче
Заранее записанный правильный ответ: какие позиции в заявке, какие количества, какой итог.
Отладка и замер - на разных наборах
На одних примерах настраиваю правила и подсказки. Проверяю на других, которых система ни разу не видела. Иначе она выучит ответы, а не задачу.
Журнал каждого вызова модели
Что ушло в модель, что вернулось, какая модель. По журналу видно, где ошибка: в модели, в коде или в данных.
Автотесты
Каждое исправленное правило получает тест, чтобы следующая правка его не сломала.
Смена версии модели - повторный прогон
Поставщик обновил модель - прогоняю отложенный набор заново. Без прогона новая версия в поток не идёт. Версия модели пишется в журнал.
На этих настраиваем
На этих проверяем. Система их не видела На стенде - 20 писем. Замер ещё впереди
Если проверять на тех же письмах, на которых настраивали, система выучит ответы, а не задачу.

Что считаем в замере: главное - доля строк, где система уверена и ошиблась; плюс доля строк человеку и время с проверкой (раздел 6.3).

Как это сделано у меня

Демо-стенд

20 писем выборки замера отложены: система их не видела. Финальный замер на них ещё не проведён. Журнал каждого вызова модели есть: что ушло, что вернулось, какая модель.

Пресейл-агент для сделки в Битрикс24

Спроектировал и собрал, рабочий локальный MVP. Модель обязана сослаться на источник, код проверяет цитату. Качество оценивается на эталонном наборе (golden eval), правила держат 611 автотестов.

для небольшой компании В небольшой компании предлагаю набор для замера из 20-30 реальных писем или документов с правильными ответами. Размечает их владелец процесса. Раз в месяц прогоняем и смотрим, не стало ли хуже. Это грубая проверка: долю ошибок по строкам на таком наборе видно, редкие случаи (плохой скан, необычный формат) - нет.

для холдинга В холдинге набор больше и разбит по видам документов. Журнал хранится внутри контура, результаты прогона видит не только автор настройки, но и ИТ. Если в журнале есть персональные данные, он сам становится базой с ними: срок хранения и доступ согласуем с ИБ (по нашей оценке, проверяет ваш юрист; раздел 4.5). Размер набора и частоту прогона согласуем на пилоте.

Агент учится сам. Проверяет человек

Есть агенты, которые сами записывают себе навыки. Что они выучили, всё равно проверяет человек.

Пример - Hermes Agent от Nous Research

После сложной задачи агент сохраняет удачный способ как навык и улучшает его по ходу работы. Навыки - обычные файлы. Агент сохраняет их, когда прошёл многошаговую работу, нашёл обход ошибки или пользователь поправил его подход. Сам я Hermes не применял, описываю по документации.

Почему нужен человек

  • По умолчанию агент пишет навыки без подтверждения

    Одобрение человеком в Hermes включается отдельной настройкой. Тогда каждый новый навык ждёт решения «принять» или «отклонить». Если будем использовать Hermes у вас, эту настройку включаем с первого дня.

  • Агент может выучить ошибку

    Если пользователь поправил его неправильно, агент запомнит неправильное. Навык по одному случаю может стать правилом для всех.

  • Навык не проверен на чужих примерах

    Агент сохраняет то, что сработало сейчас. Сработает ли это на наборе, которого он не видел, покажет только замер из 5.3.

Поэтому навык, который агент записал сам, для меня черновик правила. В канон он попадает после разбора человеком и проверки на отложенном наборе.