Перейти к содержанию
Павел Фёдоров внедрение ИИ Связаться

Главная / Своя модель

Путь А

Эту страницу удобно переслать ИТ, ИБ и юристу

Своя модель на вашем сервере

Открытая модель работает на сервере компании. Наружу уходит только то, что записано в маршруте данных. Начну с одного процесса и разверну пилот на одном сервере вместе с вашим ИТ.

Если данные можно отдавать во внешний сервис - путь Б, раздел 3.

Когда данные нельзя отдавать наружу

Путь А нужен, если данные процесса нельзя отправлять во внешний сервис:

  • персональные данные клиентов и сотрудников;
  • коммерческая тайна: закупочные цены, условия договоров, переписка с поставщиками;
  • прямой запрет службы ИБ на внешние ИИ-сервисы.

Закупочные цены и персональные данные - красная зона: для них только своя модель в контуре.

Что требует закон и как устроен «светофор данных» - раздел 4.

Можно и оба пути сразу: открытые задачи (тексты для сайта, публичные документы) - во внешний сервис, чувствительные - в свою модель. Маршрут данных записываем до пилота, вместе с ИБ и юристом.

Холдинг 2-4 млрд

Обычно это ваш путь: есть ИБ, требования к данным и ИТ, который будет поддерживать сервер. Первый вопрос к вашей ИБ: попадает ли контур пилота в значимые объекты КИИ. От ответа зависит, можно ли ставить туда n8n, Ollama и открытую модель (раздел 4).

Небольшая компания

Этот путь часто дорог. Он не окупится, если:

  • после пилота некому обслуживать сервер;
  • в процессе нет данных красной зоны;
  • рутина, которую снимаем, стоит в месяц меньше сервера и времени на его поддержку (порог считаем до старта, 2.5).

Тогда смотрите путь Б (раздел 3). Если заявки идут в облачную модель, ФИО и телефоны вырезаем до отправки, иначе облако не используем (раздел 4). Отдельный случай - фоновые задачи, где ответ не нужен быстро: маленькая модель на обычном сервере без видеокарты. Подойдёт ли это вашему процессу - гипотеза, её проверяем на стенде.

Пять частей внутри контура

Шаги задаёт программа, модель только читает текст, спорное решает человек.

Контур компании
  • Почта
  • CRM
  • 1С
  • Файлы
n8nоркестратор: шаги заданы заранее, модель не решает, что делать дальше
ответ с цитатой
База знанийдокументы компании, поискв пилоте, если нужно
МодельQwen и другие открытыена Ollama или vLLM
Кодцены, суммы, проверка цитат
Человек проверяет спорное

результат - в CRM или клиенту

Журнал: вход, выход, модель и версия. Срок хранения и доступ - по решению ИБ

Исходящий трафик закрыт сетью

только то, что записано в маршруте данных

обращения n8n и облачные модели Ollama выключены

Внешние сервисы

Источники
Почта, CRM, 1С, папки с файлами - откуда процесс берёт данные.
Оркестратор n8n
Забирает письмо или файл, ведёт по заданным шагам, ставит задачу человеку. Модель не решает, что делать дальше: она читает и выбирает из того, что ей дали.
Модель
Открытая модель (по умолчанию Qwen) на Ollama или vLLM. К ней обращаются по адресу внутри сети, как к обычному сервису. Доступ к Llama из России - раздел 4.
База знаний - в пилоте, если процессу она нужна
Документы компании с поиском: прайс, номенклатура, регламенты. Модель отвечает по ним с цитатой, код проверяет, что цитата есть в источнике. Такую базу я сам ещё не строил, это часть плана.
Журнал и человек
Каждый вызов модели пишется в журнал: что пришло, что ответила, какая модель и версия. Журнал с персональными данными сам становится базой персональных данных: срок хранения и доступ согласуем с ИБ (раздел 4). Спорное уходит человеку с подсветкой. Цены, суммы и остатки считает код.

Так собраны мои системы

Демо-стенд разбора заявок

n8n, GigaChat API и локальная Qwen через Ollama на моём ПК, журнал каждого вызова модели, проверка цитат кодом, фильтр подмены инструкций. Спорные строки проверяет менеджер, цены и суммы считает код. Стенд выложен на сервер в российском облаке в Docker, выкладка по SSH с помощью ИИ-агента. Модели на сервере стенда нет: показ идёт на записанных ответах GigaChat-2-Max, живая модель - GigaChat API.

Данные вымышленные, поэтому идут в GigaChat. У пилота правило другое (2.1). Подробно - раздел 7.

Пресейл-агент для Битрикс24

Спроектировал и довёл до локального MVP: вкладка в карточке сделки Битрикс24, Qwen3-4B через Ollama и GigaChat, проверка цитат модели по источнику, фильтр подмены инструкций, оценка качества на эталонном наборе (golden eval), 611 автотестов. Подробно - раздел 7.

Открытую модель я запускал на своём компьютере, на сервере заказчика не разворачивал. Поэтому так: разверну пилот на одном сервере вместе с вашим ИТ. Установку на сервер с видеокартой делает ваш администратор, я отвечаю за шаги, проверки и замер.

для холдинга

Скорее всего понадобятся вход через корпоративные учётки и выгрузка журналов в вашу систему мониторинга. Это платный n8n или своя обвязка (блок «Для ИТ», И3). Решаем с ИТ на шаге 2.

для небольшой компании

Для одного процесса, скорее всего, хватит бесплатного n8n и Ollama на одном сервере. Это проверяем замером нагрузки на стенде. Узкое место у вас в другом: кто будет следить за сервером.

Сервер с видеокартой: что и почём

Память видеокарты говорит, влезет ли модель. Успеет ли она разобрать ваш поток, говорит только замер на стенде. Цифры - в блоке «Для ИТ».

ВидеокартаЧто помещается замер разработчиков Qwen, один запросЗадачи гипотеза, проверяем на стендеОриентир цены
24 ГБ: L4 или RTX 4090Qwen3-4B, 8B; 14B в сжатом видесортировка писем, поля по схеме, позиции из заявок, ответы с цитатой, черновики писемаренда от 56 900-58 500 ₽/мес; для стенда почасово - от 69,88 ₽/ч (1×L4)
96 ГБ: RTX PRO 6000Qwen3-32B полностью или с запасом под одновременные запросыдлинные документы, договорыаренда от 225 000 ₽/мес; почасово от 290,15 ₽/ч
ПК без видеокартымаленькие модели запускаютсяхватит ли скорости и качества для потока - меряем на стендеуже есть

Память - замер разработчиков Qwen в Transformers, один запрос; у Ollama и vLLM другая. Сколько писем в час потянет сервер, меряем на стенде. Цены - Selectel, «от», НДС на странице не указан, сверено 12.11.2026. Покупка своего сервера - уточняется.

  • Какая модель под какую задачу - моя гипотеза. Проверяю на стенде на ваших документах: задержку на письмо и число писем в час при нескольких одновременных запросах.
  • Без видеокарты модель запустить можно. Хватит ли скорости для потока заявок в рабочее время - меряем на стенде, до замера не обещаю.
  • Малая модель слабее облачной. Поэтому модель делает узкие шаги, а проверки и расчёты - код.
  • Лицензия. По умолчанию беру модель Qwen с лицензией Apache 2.0 из таблицы «Для юриста». Лицензию выбранной модели юрист читает до пилота (блок «Для юриста»).

для холдинга

На лицензии и решении ИБ, считать ли арендованный сервер частью контура, пилот может встать (2.6). Оба вопроса ставим на шаге 2.

для небольшой компании

Берём модель под Apache 2.0 и не тратим время юриста на сложные лицензии. Для стенда хватит почасовой аренды сервера с видеокартой: платите только за часы замера (блок «Для ИТ», И5).

План пилота: шесть шагов

Шесть шагов от разговора до решения по цифрам.

  1. согласование ИБ: документ на шаге 2, срок ответа - по вашему поручению
  2. Обследованиекарта процесса
  3. Процесс и маршрут данныхдокумент для ИБ и порог окупаемости
  4. Стендстенд на тестовых данных
  5. Пилотпроцесс идёт через систему
  6. Замертаблица «было / стало»
  7. Решениерешение и следующий процесс

Цикл 90 дней: документ для ИБ на 14-й день, стенд в контуре к 60-му, замер «стало» и решение к 90-му. Это план, шаги - раздел 6.

ШагЧто делаемЧто получаете
1. ОбследованиеСпрашиваю, как процесс шёл в последний раз. Ищу этап, где копятся заявкикарта процесса, узкое место, как мерим «было»
2. Процесс и маршрут данныхОдин процесс, который держит поток. Какие данные, куда идут, кто согласуетдокумент на одну-две страницы для ИБ и юриста; порог окупаемости (2.5)
3. СтендСервер, модель, n8n, журнал, проверки на тестовых или обезличенных данныхстенд на ваших тестовых данных, где видно каждый шаг; замер скорости
4. ПилотРеальные данные - после согласования ИБ. Люди процесса работают с системойпроцесс идёт через систему, ошибки разбираем раз в неделю
5. ЗамерТе же показатели, что «было», на наборе, который система не виделатаблица «было / стало»
6. РешениеТиражировать, доработать или остановитьрешение и план следующего процесса

Главное в замере - доля строк, где система была уверена и ошиблась. Время проверки человеком входит в «стало». Какой эффект даст пилот, до замера я не называю. Как идёт обследование и как устроен замер - раздел 6.

для холдинга

Документ для ИБ готов на шаге 2. От вас - поручение ИБ со сроком ответа. Пока ИБ отвечает, стенд работает на тестовых данных.

для небольшой компании

Шаги 1-3 короче: решение принимает собственник. Замер не сокращаю - без него непонятно, стоило ли.

Что нужно от вас

Пять вещей до старта и порог окупаемости, посчитанный до пилота.

Владелец процесса
Человек, который отвечает за процесс и может сказать «так правильно». Без него пилот затухает.
Сервер или бюджет на него
Свой с видеокартой, арендованный или почасовая аренда на время стенда (блок «Для ИТ», И5).
Доступы к системам
Почта, CRM, 1С, папки - те, что есть. Связку с 1С (прайс, цены, остатки, запись КП) делает ваш 1С-специалист или франчайзи. Задачу ставлю я и проверяю результат: учётные системы - не моя зона, я работаю с CRM и процессами.
Согласование ИБ и юристов
Маршрут данных, лицензия модели, кто имеет доступ к журналу.
Время людей процесса: 2-3 часа в неделю на пилоте
Разметить эталоны, разобрать ошибки, сказать, где система мешает.

Порог окупаемости - до старта

Порог считаем до старта по формуле с вашими цифрами, замер только проверяет (раздел 6.3). Ячейки заполняете вы, я помогаю с допущениями. У пути А в затратах обязательно есть:

  • сервер: аренда или покупка, разнесённая по месяцам;
  • поддержка: обновления модели и n8n, исправления безопасности, резервные копии, кто отвечает при отказе;
  • платный n8n, если нужны SSO и выгрузка журналов - цена уточняется.

Остальные статьи (интеграция, часы ИБ и юристов, эталоны, смена версии модели, стоимость ошибки) и когда сэкономленный час становится деньгами - в 6.3.

Если на ваших допущениях эффект не перекрывает затраты с запасом, путь А не начинаем.

для холдинга

Добавляются время ИБ и юристов и закупка. Это реальные часы, их стоит заложить в план сразу.

для небольшой компании

Главный ресурс - время собственника или владельца процесса. Если его нет даже на 2-3 часа в неделю, пилот лучше не начинать.

Где пилот может встать

Для холдинга главный риск - затянутое согласование. Для небольшой компании - поддержка после пилота.

  • ИБ и юристы

    Согласование маршрута данных и лицензии может идти дольше установки. При внедрении CRM в холдинге я работал с запретом ИБ на интеграции из маркетплейса, телефонию и мессенджеры. Поэтому документ для ИБ готовлю на шаге 2, до запуска.

  • Кто будет поддерживать

    После пилота сервер, модель и n8n кто-то обновляет. Нет такого человека - для небольшой компании это риск номер один.

  • Малые модели слабее облачных и ошибаются уверенно

    Страхуем устройством: узкие шаги, цитата с проверкой кодом, суммы и цены считает код, спорное идёт человеку.

  • Подмена инструкций

    В письме клиента может быть спрятана команда для модели. Фильтр ловит грубые попытки. Защита - в устройстве: у модели нет действий, выбор только из списка, цитату проверяет код, отправляет человек.

  • Один сервер - одна точка отказа

    Поток проектирую так, чтобы при отказе модели письмо уходило человеку с причиной. Как поднять сервер заново - инструкция вашему ИТ.

  • Железо простаивает

    Сервер под один процесс загружен не весь день, поэтому порог окупаемости считаем до старта (2.5).

  • Открытые сервисы внутри контура

    n8n по умолчанию обращается к своим серверам, у Ollama есть облачные модели. Отключаем, закрываем исходящий трафик сетью и проверяем до пилота (блок «Для ИТ», И2).

  • Номенклатура

    Если у предприятий разные справочники, сначала нужен проект по нормативно-справочной информации. Пилот - на одном справочнике.

  • Лицензия и доступ к модели

    Не у всех моделей одного семейства одна лицензия (блок «Для юриста»). Доступ к Llama из России - раздел 4.

для холдинга

Затянутое согласование снимается действием: документ для ИБ на шаге 2, поручение ИБ со сроком ответа, стенд на тестовых данных работает параллельно.

для небольшой компании

Если поддержки после пилота не будет, выбирайте путь Б.

Кто что делает

Я веду процесс и качество, ваш ИТ - сервер, установку и поддержку.

Я

Ваш ИТ

Нет своего ИТ - администратор по договору и франчайзи 1С

Я: обследование, выбор процесса, узкое место

Ваш ИТ: сервер, операционная система, сеть, исходящий трафик

Я: маршрут данных и документ для ИБ

Ваш ИТ: доступы и учётные записи, согласование с ИБ

Я: шаги процесса в n8n и в коде, инструкции модели, проверки

Ваш ИТ: установка драйверов, модели и n8n на сервер с видеокартой

Я: задача 1С-специалисту, результат проверяем вместе

Ваш ИТ: связка с 1С и учётными системами

Я: эталоны, замер качества и скорости, журнал

Ваш ИТ: резервные копии, мониторинг, обновления безопасности

Я: первые шаги людей процесса на их задачах

Ваш ИТ: поддержка после пилота

Вместе: инструкция «как поднять заново, если упало»

Владелец процесса: эталоны, разбор ошибок, решение по итогам замера

для холдинга

Колонка ИТ - ваша действующая служба. Мне нужен один человек от неё на время пилота.

для небольшой компании

Если своего ИТ нет, правую колонку закрывает подрядчик: администратор по договору и франчайзи 1С. Их стоимость считаем до старта, в пороге окупаемости (2.5). Моя работа - ГПХ, самозанятость или ИП на ваш выбор, стоимость обсудим на встрече (раздел 8).

Для ИТ И1-И5: части и лицензии, что закрыть до пилота, ограничения, сколько памяти нужно, ориентиры цены

Все внешние факты сверены 12.11.2026.

И1Части и лицензии

ЧастьЛицензияГлавное
n8nSustainable Use LicenseВнутреннее использование компании бесплатно. Нельзя давать внешним пользователям (вашим клиентам) строить или менять workflow. Я работаю как внешний исполнитель: FAQ разрешает настраивать и сопровождать workflow на вашем сервере, пока n8n не размещён у меня для вас
OllamaMITLinux, Windows, macOS, Docker. По умолчанию слушает только сам сервер, 127.0.0.1:11434
vLLMApache 2.0Сервер для многих одновременных запросов: собирает запросы в пачки на лету, поддерживает сжатые модели. Linux, NVIDIA с compute capability не ниже 7.5 (например T4, A100, H100), также AMD и Intel. API, совместимый с OpenAI

И2Что закрыть до пилота

  • Исходящий трафик. Закрыт сетью, исключения по списку. Проверяем захватом трафика до пилота. Настройки программ без закрытой сети недостаточно.
  • n8n. Документация пишет, что самостоятельно установленный n8n по умолчанию отправляет данные на серверы n8n: уведомления о версиях, шаблоны, диагностика. Отключается тремя переменными (N8N_DIAGNOSTICS_ENABLED, N8N_VERSION_NOTIFICATIONS_ENABLED, N8N_TEMPLATES_ENABLED - в false) и очисткой ещё трёх (EXTERNAL_FRONTEND_HOOKS_URLS, N8N_DIAGNOSTICS_CONFIG_FRONTEND, N8N_DIAGNOSTICS_CONFIG_BACKEND). Сверх документации выключаем ИИ-помощник, пакеты сообщества и продление лицензии.
  • Ollama. При локальной работе, по словам разработчиков, запросы и данные не уходят; облачные модели Ollama - отдельный режим. В контуре облачные модели не используем, правило записываем для ИБ.
  • Доступ к серверу модели. Встроенной проверки доступа в документации Ollama я не нашёл. Сервер модели закрываем сетью или прокси.
  • Внутреннее зеркало моделей и образов. Веса моделей, образы Docker и пакеты берём из внутреннего зеркала, а не напрямую из интернета.
  • Отладка на реальных данных - только инструментами внутри контура.

И3Ограничения

  • Ollama по умолчанию обрабатывает один запрос к модели за раз (OLLAMA_NUM_PARALLEL = 1), параллельность настраивается. Очередь по умолчанию 512 запросов (OLLAMA_MAX_QUEUE), дальше отказ.
  • vLLM, --gpu-memory-utilization: если не задано - 1,0 при расширяемом KV-кэше (на CUDA он включён по умолчанию), иначе 0,92. Если на той же карте работают другие программы, значение задают вручную, и памяти под KV-кэш остаётся меньше.
  • Бесплатный n8n без части функций для крупной компании: нет входа через SSO (SAML, LDAP), внешнего хранилища секретов, потоковой выгрузки журналов, сред и контроля версий через Git, разделения по проектам. Они есть в платных Business и Enterprise. Цена уточняется.

Что выбрать. Ollama проще поставить, для пилота на одном процессе её, скорее всего, хватит. vLLM - когда к модели одновременно обращаются несколько процессов или людей. Я работал с Ollama в своих системах, с vLLM - нет. Сервер модели для тиражирования выбираем с вашим ИТ после замера нагрузки.

Логика шагов - в коде, n8n - триггеры и связки. Так логику можно покрыть тестами и прогонять оценку качества тем же кодом, что работает в потоке.

И4Сколько памяти нужно

Официальный замер разработчиков Qwen для Qwen3: библиотека Transformers, одна видеокарта NVIDIA H20 96 ГБ, один запрос. Диапазон - от короткого запроса до 30 720 токенов на входе. В источнике мегабайты, здесь пересчитано в ГБ делением на 1024.

МодельПолная точность (BF16), ГБ8 бит (FP8), ГБ4 бита (AWQ-INT4), ГБ
Qwen3-4B7,8 - 12,05,2 - 9,42,8 - 7,6
Qwen3-8B15,6 - 19,89,1 - 13,36,0 - 10,7
Qwen3-14B27,7 - 32,615,6 - 20,39,7 - 15,0
Qwen3-32B61,3 - 69,132,6 - 40,118,7 - 27,1
Qwen3-30B-A3B (MoE)57,1 - 59,929,6 - 32,4нет данных: для GPTQ-INT4 в источнике «MoE Kernel Unsupported»

Оговорки

  • Это замер Transformers. У Ollama (формат GGUF) и vLLM память другая. Пропускную способность - задержку на письмо и токены в секунду при 1, 3 и 5 одновременных запросах - меряем на стенде.
  • Активные параметры не уменьшают память. У моделей MoE в память грузится вся модель. Qwen3-30B-A3B (3 млрд активных) в BF16 занимает больше, чем плотная Qwen3-14B. Llama 4 Scout (109 млрд всего, 17 млрд активных) по карточке модели помещается в одну H100 только при сжатии до 4 бит.
  • При нескольких одновременных пользователях память на контекст растёт.
  • Для Qwen3.6 и Qwen3.8 официальной таблицы памяти я не нашёл - замеряем на стенде.

Какая модель под какую задачу Гипотеза, источника нет, проверяю на стенде

  • около 4 млрд параметровсортировка писем, поля по жёсткой схеме с проверкой кодом
  • 8-14 млрдпозиции из заявок, ответы по базе знаний с цитатой, черновики писем
  • около 32 млрддлинные документы, договоры, сравнение условий

И5Ориентиры цены

Сверено 12.11.2026. Selectel пишет цены «от», НДС на странице не указан, даты на странице нет.

Выделенный сервер, в месяц (Selectel)

  • 1× NVIDIA RTX 4090 24 ГБот 56 900 ₽
  • 1× NVIDIA L4 24 ГБот 58 500 ₽
  • 1× NVIDIA RTX PRO 6000 96 ГБот 225 000 ₽

Обе карты на 24 ГБ по таблице И4 вмещают Qwen3-4B и 8B, а Qwen3-14B - в сжатом виде. Какую из двух брать, решаем после замера скорости на стенде. Карта на 96 ГБ нужна для Qwen3-32B в полной точности или для запаса под одновременные запросы.

Почасовая аренда для стенда (облако Selectel)

  • 1× L4 24 ГБот 69,88 ₽ в час
  • 1× RTX PRO 6000 96 ГБот 290,15 ₽ в час
  • Облако Cloud.ru (тариф от 09.09.2026): одиночных видеокарт в тарифе нет. Самая малая конфигурация - 2× A100 80 ГБ, 600 ₽ в час без НДС, 732 ₽ с НДС. При круглосуточной работе это около 534 тыс. ₽ в месяц (730 часов). Для пилота на одном процессе избыточно.
  • Покупка своего сервера - уточняется: цену и срок поставки карт даёт поставщик вашего ИТ.

Арендованный сервер стоит в дата-центре, не в вашей серверной. Считать ли его частью контура, решает ИБ на шаге 2.

Для юриста: лицензии моделей

Лицензию проверяем у каждой модели отдельно: у Qwen2.5 в одном поколении три разные лицензии.

МодельЛицензияЧто важно
Qwen3-4B, Qwen3.6-35B-A3B, Qwen3.8-27BApache 2.0Коммерческое использование разрешено, отдельного договора не нужно. Лицензия - по карточке каждой модели. Русский язык в списке поддерживаемых Qwen3 назван прямо
Qwen2.5-1.5B-InstructApache 2.0-
Qwen2.5-3B-InstructQwen ResearchТолько исследования и оценка. Для коммерческого использования нужна отдельная лицензия от Alibaba Cloud
Qwen2.5-72B-InstructQwenПри продукте больше 100 млн активных пользователей в месяц нужно разрешение Alibaba Cloud. Упомянуты экспортные ограничения Китая, США и других стран. Право Китая, суд в Ханчжоу
Llama 3.3, Llama 4своя Llama Community License у каждойНе открытая лицензия в привычном смысле. Подробно - ниже

Llama

  • Если у компании и её аффилированных лиц больше 700 млн активных пользователей в месяц, нужна отдельная лицензия от Meta. Для российского холдинга это обычно не ограничение, но юрист должен это зафиксировать.
  • Обязательная подпись «Built with Llama». Производная модель должна называться с «Llama» в начале имени.
  • Правила приемлемого использования входят в лицензию: запрещены, среди прочего, военное применение, нарушение закона и чужих прав, несанкционированный сбор персональных данных.
  • Использование должно соответствовать законам, включая законы о торговых ограничениях.
  • Доступ к Llama из России - одна формулировка для всего сайта, в разделе 4.
  • Русский язык не входит в официально поддерживаемые языки Llama 3.1 и Llama 4. Карточка Llama 3.1 не рекомендует работать на неподдерживаемых языках без дообучения.

Поэтому на пилоте я по умолчанию беру модель Qwen с лицензией Apache 2.0 из таблицы «Для юриста». Llama - только если юрист снял вопросы и замер на русских документах показал, что она лучше.