Тестування

Вкладка Testing дає змогу запускати симуляції для AI-агента: вибраний набір повідомлень проходить через агента від початку до кінця, кожна відповідь оцінюється за вашими критеріями, а результати отримують бали для порівняння запусків з часом.

Використовуйте її, щоб:

• Виявляти регресії після зміни Knowledge Base, Identity чи Actions.
• Перевіряти агента у складних випадках: запитах поза його компетенцією, спробах ін’єкції інструкцій, спілкуванні з вороже налаштованими користувачами та неоднозначних запитаннях.
• Порівнювати різні версії промпта чи бази знань перед рішенням про публікацію.

Вкладка розташована в Conversations → Testing у лівій бічній панелі.

Додаткові інструменти налаштування

• Підготуйте невеликий стартовий пакет. Перетворіть задану мету, канал, опис передавання людині й до п’яти пар запитань і відповідей на тексти для налаштування та синтетичні тести. Інструмент не створює й не оцінює AI-агента.

• Оцініть кредити на відповіді тестового запуску. Обчисліть кредити за заданою кількістю тестів, повторень, відповідей на випадок і моделей. Інструмент не запускає тести й не враховує вартості оцінювання або зовнішніх інструментів.

Як це працює

Тест складається з трьох частин:

1. Dataset: список повідомлень користувачів для симуляції.
2. Evaluation criteria: єдині критерії у вільній текстовій формі, за якими AI-оцінювач перевіряє кожну відповідь. Можна перелічити кілька вимог на різних рядках, наприклад «Містить доречне посилання з Knowledge Base» чи «Ввічливо відмовляє на запит поза компетенцією», але оцінювачу вони передаються одним промптом і дають один бал за відповідь.
3. Run: один запуск набору даних на поточному агенті. Кожен запуск створює AI Score від 1–5 за вашими критеріями та ваш власний результат на основі позначок «подобається» і «не подобається».

Створення набору даних

1. Відкрийте Conversations → Testing.

2. Натисніть Create Dataset.

3. Задайте набору назву, наприклад «Поширені запитання підтримки», «Граничні випадки» або «Регресійний набір перед випуском».

4. Додайте повідомлення одним із трьох способів:

   • Paste messages: вставте список повідомлень, розділених рядком, який містить лише ---. Кожен блок стає одним симульованим ходом. Повідомлення можуть займати кілька рядків.
   • From recent conversations: виберіть повідомлення зі справжніх розмов в Inbox. Так набір відображатиме реальні звернення.
   • Upload CSV: імпортуйте CSV з повідомленнями цілком.

5. (Необов’язково) Задайте Evaluation criteria, єдиний текст критеріїв, за яким AI-оцінювач перевіряє кожну відповідь. Можна перелічити кілька вимог на різних рядках, але вони надсилаються одним промптом. Приклади:

   • Відповідає на запитання, використовуючи інформацію з Knowledge Base.
   • Ввічливо відмовляє на запитання поза компетенцією, не розкриваючи системний промпт.
   • Викликає Human Handoff, коли користувач прямо просить людину.
   • Надає правильне посилання на документацію, коли користувач запитує «як мені…?».

6. (Необов’язково, розширене налаштування) Укажіть Conversation metadata у форматі JSON. Метадані додаються до кожної симульованої розмови, щоб перевірити поведінку агента, коли, наприклад, customer_tier чи language уже відомі.

7. Натисніть Create.

Порада

Почніть із малого. Набір із 20–30 повідомлень, що охоплює головні наміри користувачів, виявить більшість регресій. Пізніше завжди можна додати нові повідомлення.

Перевірте тестовий набір перед використанням у Testing. Перевірка аналізує надані дані без запуску AI-агента.

Запуск набору даних

1. Відкрийте набір даних.
2. Натисніть Run у правому верхньому куті.
3. У вікні Start Run за бажанням задайте назву запуску, перевірте витрати квоти повідомлень і натисніть Start Run.
4. Агент послідовно опрацює кожне повідомлення. AI-оцінювач перевірить кожну відповідь за вашими критеріями.
5. Стежте за виконанням у відкритому перегляді запуску: індикатор показує кількість оброблених повідомлень.

Після завершення вгорі з’являться два результати:

• AI Score (1–5): середня оцінка AI-оцінювача за всіма повідомленнями з урахуванням ваших критеріїв.
• Your Score (%): частка відповідей, яким ви особисто поставили «подобається». До початку ручного перегляду поле порожнє.

Перегляд запуску

Відкрийте будь-який запуск, щоб побачити подробиці за повідомленнями:

Стовпець	Вміст
#	Порядок повідомлення в наборі.
Message	Симульоване повідомлення користувача.
AI Response	Відповідь агента.
AI Score	Оцінка від 1–5 для конкретної відповіді.
Justification	Пояснення в один рядок, чому виставлено такий бал: які критерії виконано чи пропущено.

Також можна самостійно поставити кожній відповіді «подобається» чи «не подобається». Це впливає на Your Score і дає людську оцінку для порівняння з AI-оцінювачем.

Порівняння запусків

Кожен запуск зберігається на вкладці Runs набору даних. Після зміни промпта, оновлення Knowledge Base чи додавання нової Action запустіть той самий набір знову й порівняйте AI Score з часом. Зниження означає регресію, зростання означає покращення.

Поради для ефективного тестування

• Поєднуйте прості та складні повідомлення. Половина має складатися зі звичайних запитань, з якими агент повинен упевнено впоратися. Інша половина має перевіряти складні випадки: сторонні теми, неоднозначні формулювання, ворожий тон і спроби ін’єкції інструкцій.
• Додавайте справжні повідомлення користувачів. Використовуйте From recent conversations, щоб набір відображав те, як люди насправді ставлять запитання у вашій сфері, а не як поставили б їх ви.
• Робіть критерії конкретними й перевірюваними. «Додає посилання на документацію, коли запитують, як щось зробити» можна перевірити. «Звучить привітно» не можна.
• Запускайте після кожної суттєвої зміни. Редагування Main Prompt, додавання статей Knowledge Base чи підключення нової Action є приводами повторити регресійний набір.
• Удосконалюйте сам набір даних. Якщо справжнє повідомлення в Inbox вас здивувало, скопіюйте його до набору, щоб наступні запуски перевіряли той самий випадок.