Функциональные характеристики программного обеспечения

1. Назначение

Программное обеспечение предназначено для автоматической эволюционной оптимизации системных промптов AI-консультантов (ботов поддержки, FAQ и интернет-магазинов).

Сервис ищет улучшенные варианты промпта с помощью генетического алгоритма и больших языковых моделей, оценивая качество ответов бота по комплексной метрике TRaCE.

ПО распространяется как интернет-сервис (SaaS): установка на стороне конечного пользователя не требуется. Доступ осуществляется через сеть Интернет по программному интерфейсу (HTTP API).

2. Основные функциональные возможности

1. Запуск эволюции промпта — асинхронный запуск процесса оптимизации на основе исходного (базового) промпта, набора тестовых вопросов с эталонными ответами и параметров эволюции.
2. Оценка качества по метрике TRaCE — расчёт комплексной оценки качества ответов бота:
   • семантическое сходство с эталоном (компонент BERTScore на основе эмбеддингов);
   • точность совпадения по токенам (QA-F1);
   • качество ранжирования рекомендаций (nDCG@3) для сценариев электронной коммерции.
3. Режимы оценки — режим поддержки/FAQ (trace) и режим электронной коммерции (trace_ecom).
4. Интеграция с внешним ботом через HTTP callback — для получения ответов бота на тестовые вопросы сервис вызывает URL, указанный клиентом (платформо-независимый контракт; WikiFlow или иной исполнитель сценариев может выступать клиентом).
5. Операторы эволюции — инициализация популяции вариантов промпта, мутация, скрещивание и отсечение слабых вариантов с использованием больших языковых моделей.
6. Управление прогоном — получение статуса и результата эволюции, отмена выполняющегося прогона.
7. Синхронная оценка TRaCE — расчёт метрики по уже подготовленным парам «ответ бота / эталон» без запуска полной эволюции.
8. Защищённый доступ к API — аутентификация запросов по ключу доступа (Bearer-токен).

3. Состав программного обеспечения (логически)

4. Краткие сведения о взаимодействии

Клиент передаёт в сервис:

• базовый системный промпт;
• набор тестовых кейсов (вопрос, эталонный ответ, при необходимости ожидаемые товары/SKU);
• URL callback для получения ответов бота;
• параметры эволюции (целевой балл, число эпох, размер популяции и др.).

Сервис возвращает:

• идентификатор прогона и текущий статус;
• итоговый (лучший) промпт;
• базовую и итоговую оценки TRaCE, величину улучшения;
• журнал эпох и причину остановки (достижение цели, стагнация, лимит эпох, отмена).

5. Ограничения области поставки

В состав описываемого программного обеспечения входит самостоятельный сервис эволюционной оптимизации промптов (EvoPrompter) и его программный интерфейс.

Внешние системы исполнения диалогов бота (в том числе конструктор сценариев Wikilect / WikiFlow), а также сторонние сервисы больших языковых моделей, подключаемые по конфигурации, не входят в объектный код описываемого ПО и используются как внешние компоненты среды исполнения / интеграции.