Тестирование

Вкладка Testing позволяет запускать симуляции для AI-агента: выбранный набор сообщений проходит через агента от начала до конца, каждый ответ оценивается по вашим критериям, а результаты получают баллы для сравнения запусков со временем.

Используйте её, чтобы:

• Находить регрессии после изменения Knowledge Base, Identity или Actions.
• Проверять агента на сложных случаях: запросах вне его компетенции, попытках внедрения инструкций, враждебных пользователях и неоднозначных вопросах.
• Сравнивать версии промпта или базы знаний перед публикацией.

Вкладка находится в Conversations → Testing в левом боковом меню.

Дополнительные инструменты настройки

• Подготовьте небольшой стартовый пакет. Превратите заданную цель, канал, описание передачи человеку и до пяти пар вопросов и ответов в тексты для настройки и синтетические тесты. Инструмент не создаёт и не оценивает AI-агента.

• Оцените кредиты на ответы при тестовом запуске. Рассчитайте кредиты по заданному числу тестов, повторений, ответов на случай и выбранным моделям. Инструмент не запускает тесты и не учитывает стоимость оценки или внешних инструментов.

Как это работает

Тест состоит из трёх частей:

1. Dataset: список сообщений пользователей для симуляции.
2. Evaluation criteria: единый набор критериев в свободной форме, по которому AI-оценщик проверяет каждый ответ. Можно перечислить несколько требований на разных строках, например «Содержит подходящую ссылку из Knowledge Base» или «Вежливо отказывает при запросе вне компетенции», но оценщику они передаются одним промптом и дают один балл за ответ.
3. Run: один запуск набора данных на текущем агенте. Каждый запуск формирует AI Score от 1–5 по вашим критериям и ваш собственный результат на основе отметок «нравится» и «не нравится».

Создание набора данных

1. Откройте Conversations → Testing.

2. Нажмите Create Dataset.

3. Задайте имя набору, например «Частые вопросы поддержки», «Пограничные случаи» или «Регрессионный набор перед выпуском».

4. Добавьте сообщения одним из трёх способов:

   • Paste messages: вставьте список сообщений, разделённых строкой, содержащей только ---. Каждый блок становится одним симулируемым ходом. Сообщения могут занимать несколько строк.
   • From recent conversations: выберите сообщения из настоящих бесед в Inbox. Так набор будет отражать реальные обращения.
   • Upload CSV: импортируйте CSV с сообщениями целиком.

5. (Необязательно) Задайте Evaluation criteria, единый текст критериев, по которым AI-оценщик проверяет каждый ответ. Несколько требований можно разместить на разных строках, но они отправляются одним промптом. Примеры:

   • Отвечает на вопрос с помощью информации из Knowledge Base.
   • Вежливо отказывает на вопросы вне компетенции, не раскрывая системный промпт.
   • Вызывает Human Handoff, когда пользователь явно просит человека.
   • Даёт правильную ссылку на документацию, когда пользователь спрашивает «как мне…?».

6. (Необязательно, расширенная настройка) Укажите Conversation metadata в формате JSON. Метаданные прикрепляются к каждой симулируемой беседе, позволяя проверить поведение агента, когда, например, customer_tier или language уже известны.

7. Нажмите Create.

Совет

Начните с малого. Набор из 20–30 сообщений, охватывающий основные намерения пользователей, выявит большинство регрессий. Позже всегда можно добавить новые сообщения.

Проверьте тестовый набор перед использованием в Testing. Проверка анализирует предоставленные данные без запуска AI-агента.

Запуск набора данных

1. Откройте набор данных.
2. Нажмите Run в правом верхнем углу.
3. В окне Start Run при желании задайте имя запуска, проверьте расход квоты сообщений и нажмите Start Run.
4. Агент последовательно обработает каждое сообщение. AI-оценщик проверит каждый ответ по вашим критериям.
5. Следите за ходом выполнения в открывшемся представлении запуска: индикатор показывает число обработанных сообщений.

После завершения вверху появятся два результата:

• AI Score (1–5): средняя оценка AI-оценщика по всем сообщениям с учётом ваших критериев.
• Your Score (%): процент ответов, которым вы лично поставили «нравится». До начала ручной проверки поле пустое.

Просмотр запуска

Откройте любой запуск, чтобы увидеть подробности по сообщениям:

Столбец	Содержимое
#	Порядок сообщения в наборе.
Message	Симулируемое сообщение пользователя.
AI Response	Ответ агента.
AI Score	Оценка от 1–5 для конкретного ответа.
Justification	Объяснение в одну строку, почему выставлен такой балл: какие критерии выполнены или пропущены.

Можно самостоятельно поставить каждому ответу «нравится» или «не нравится». Эти отметки влияют на Your Score и дают человеческую оценку для сравнения с AI-оценщиком.

Сравнение запусков

Каждый запуск сохраняется на вкладке Runs набора данных. После изменения промпта, обновления Knowledge Base или добавления Action запустите тот же набор снова и сравните AI Score во времени. Снижение означает регрессию, рост означает улучшение.

Советы по эффективному тестированию

• Смешивайте простые и сложные сообщения. Половина должна состоять из обычных вопросов, с которыми агент должен справляться уверенно. Вторая половина должна проверять сложные случаи: посторонние темы, неоднозначные формулировки, враждебный тон и попытки внедрения инструкций.
• Добавляйте реальные сообщения пользователей. Используйте From recent conversations, чтобы набор отражал то, как люди на самом деле задают вопросы в вашей сфере, а не как задали бы их вы.
• Делайте критерии конкретными и проверяемыми. «Добавляет ссылку на документацию, когда спрашивают, как что-то сделать» можно проверить. «Звучит дружелюбно» нельзя.
• Запускайте после каждого значимого изменения. Изменение Main Prompt, добавление статей Knowledge Base или подключение новой Action являются поводами повторить регрессионный набор.
• Улучшайте сам набор данных. Если реальное сообщение в Inbox вас удивило, скопируйте его в набор, чтобы будущие запуски проверяли тот же случай.