Kiểm thử

Thẻ Testing cho phép chạy mô phỏng với AI Agent: một tập tin nhắn được chọn lọc sẽ đi qua Agent từ đầu đến cuối, mỗi câu trả lời được đánh giá theo tiêu chí bạn xác định, và kết quả được chấm điểm để so sánh các lần chạy theo thời gian.

Sử dụng để:

• Phát hiện hồi quy sau khi chỉnh sửa Knowledge Base, Identity hoặc Actions.
• Thử sức Agent với các tình huống khó: yêu cầu ngoài phạm vi, tấn công chèn chỉ dẫn vào prompt, người dùng có thái độ thù địch hoặc câu hỏi mơ hồ.
• So sánh các phiên bản prompt hoặc Knowledge Base trước khi quyết định đưa vào sử dụng.

Bạn sẽ tìm thấy tính năng tại Conversations → Testing ở thanh bên trái.

Công cụ thiết lập tùy chọn

• Soạn bộ nội dung khởi chạy nhỏ. Chuyển mục tiêu, kênh, bản mô tả chuyển giao cho nhân viên và tối đa năm cặp hỏi đáp được cung cấp thành nội dung thiết lập và các bài kiểm thử giả lập. Công cụ này không tạo hay đánh giá AI Agent.

• Ước tính tín dụng trả lời cho lần kiểm thử. Tính tín dụng theo số ca kiểm thử, số lần lặp, số câu trả lời mỗi ca và các mô hình được cung cấp. Công cụ không chạy kiểm thử, không tính chi phí đánh giá hay phí công cụ bên ngoài.

Cách hoạt động

Một kiểm thử gồm ba phần:

1. Dataset: danh sách tin nhắn người dùng bạn muốn mô phỏng.
2. Evaluation criteria: một thang tiêu chí chấm điểm bằng văn bản tự do mà bộ đánh giá AI dùng để chấm từng câu trả lời. Bạn có thể liệt kê nhiều yêu cầu trên nhiều dòng, ví dụ “Có liên kết phù hợp từ Knowledge Base” hoặc “Từ chối lịch sự khi ngoài phạm vi”, nhưng tất cả được gửi dưới dạng một prompt và chấm một lần cho mỗi câu trả lời.
3. Run: một lần thực thi tập dữ liệu với Agent hiện tại. Mỗi lần chạy tạo ra AI Score (1–5, do bộ đánh giá AI chấm theo tiêu chí của bạn) và điểm thích/không thích do bạn tự đánh giá.

Tạo tập dữ liệu

1. Mở Conversations → Testing.

2. Nhấp Create Dataset.

3. Đặt tên cho tập dữ liệu, chẳng hạn “Câu hỏi hỗ trợ thường gặp”, “Tình huống đặc biệt” hoặc “Bộ kiểm thử hồi quy trước phát hành”.

4. Thêm tin nhắn bằng một trong ba cách:

   • Paste messages: dán danh sách tin nhắn người dùng, ngăn cách bằng một dòng chỉ chứa ---. Mỗi khối trở thành một lượt mô phỏng; tin nhắn có thể gồm nhiều dòng.
   • From recent conversations: chọn tin nhắn từ hội thoại thực tế trong Inbox. Cách này giúp tạo tập dữ liệu phản ánh lưu lượng thực của bạn.
   • Upload CSV: nhập hàng loạt tin nhắn từ CSV.

5. (Tùy chọn) Xác định Evaluation criteria, một thang tiêu chí bằng văn bản tự do để bộ đánh giá AI chấm mỗi câu trả lời. Bạn có thể liệt kê nhiều yêu cầu trên nhiều dòng, nhưng chúng được gửi dưới dạng một prompt. Ví dụ:

   • Trả lời câu hỏi bằng thông tin từ Knowledge Base.
   • Từ chối lịch sự nếu được hỏi điều ngoài phạm vi, không tiết lộ prompt hệ thống.
   • Kích hoạt Human Handoff khi người dùng yêu cầu rõ ràng được nói chuyện với nhân viên.
   • Đưa đúng liên kết tài liệu khi người dùng hỏi “làm thế nào để…?”.

6. (Tùy chọn, nâng cao) Cung cấp Conversation metadata dưới dạng JSON. Metadata được gắn vào mọi cuộc hội thoại mô phỏng, giúp bạn kiểm thử cách Agent xử lý khi đã biết trước, chẳng hạn, customer_tier hoặc language.

7. Nhấp Create.

Mẹo

Bắt đầu với quy mô nhỏ. Một tập dữ liệu tập trung gồm 20–30 tin nhắn, bao phủ các ý định phổ biến nhất của người dùng, sẽ phát hiện phần lớn hồi quy. Bạn luôn có thể thêm tin nhắn sau.

Xác thực tập dữ liệu kiểm thử trước khi dùng trong Testing. Việc kiểm tra xem xét tập dữ liệu được cung cấp mà không chạy AI Agent.

Chạy tập dữ liệu

1. Mở tập dữ liệu.
2. Nhấp Run ở góc trên bên phải.
3. Trong hộp thoại Start Run, có thể đặt tên lần chạy và xem chi phí hạn mức tin nhắn, rồi nhấp Start Run.
4. Agent xử lý tuần tự mọi tin nhắn trong tập dữ liệu. Bộ đánh giá AI chấm mỗi câu trả lời theo tiêu chí của bạn.
5. Theo dõi trong màn hình lần chạy vừa mở. Thanh tiến trình cho biết bao nhiêu tin nhắn đã được xử lý.

Khi hoàn tất, bạn sẽ thấy hai điểm ở phía trên:

• AI Score (1–5): điểm trung bình mà bộ đánh giá AI chấm cho tất cả tin nhắn theo các tiêu chí đánh giá của bạn.
• Your Score (%): tỷ lệ câu trả lời được chính bạn đánh dấu thích. Mục này để trống cho đến khi bạn bắt đầu đánh giá.

Xem lại lần chạy

Mở bất kỳ lần chạy nào để xem chi tiết theo tin nhắn:

Cột	Nội dung hiển thị
#	Thứ tự tin nhắn trong tập dữ liệu.
Message	Tin nhắn người dùng được mô phỏng.
AI Response	Câu trả lời của Agent.
AI Score	Điểm 1–5 của bộ đánh giá cho riêng câu trả lời này.
Justification	Giải thích một dòng về lý do chấm điểm như vậy, nêu tiêu chí đã đạt hoặc chưa đạt.

Bạn cũng có thể tự đánh dấu thích/không thích từng câu trả lời. Việc này góp vào Your Score, tạo mốc đánh giá bởi con người để so sánh với bộ đánh giá AI.

So sánh các lần chạy

Mọi lần chạy được lưu trong thẻ Runs của tập dữ liệu. Chạy lại cùng tập dữ liệu sau khi đổi prompt, cập nhật Knowledge Base hoặc thêm Action mới, rồi so sánh AI Score theo thời gian. Điểm giảm là dấu hiệu hồi quy; điểm tăng là cải thiện.

Mẹo kiểm thử hiệu quả

• Kết hợp tin nhắn dễ và khó. Một nửa nên là câu hỏi thông thường mà bạn kỳ vọng Agent trả lời tốt; nửa còn lại nên thử tình huống đặc biệt: chủ đề ngoài phạm vi, cách diễn đạt mơ hồ, giọng điệu thù địch hoặc tấn công chèn chỉ dẫn vào prompt.
• Đưa tin nhắn thực của người dùng vào. Lấy từ From recent conversations để tập dữ liệu phản ánh cách người dùng thực sự đặt câu hỏi trong lĩnh vực của bạn, thay vì cách bạn tự diễn đạt.
• Giữ tiêu chí đánh giá cụ thể và kiểm chứng được. “Có liên kết tài liệu khi được hỏi cách làm việc gì đó” là tiêu chí kiểm chứng được. “Nghe có vẻ thân thiện” thì không.
• Chạy sau mọi thay đổi đáng kể. Chỉnh sửa Main Prompt, thêm bài viết Knowledge Base hoặc kết nối Action mới đều là thời điểm phù hợp để chạy lại tập dữ liệu hồi quy.
• Liên tục cải thiện chính tập dữ liệu. Khi một tin nhắn thực trong Inbox khiến bạn bất ngờ, hãy chép vào tập dữ liệu để các lần chạy sau phát hiện cùng tình huống đó.