การทดสอบ

แท็บ Testing ให้คุณรัน การจำลอง กับ AI Agent โดยส่งชุดข้อความที่คัดเลือกไว้ผ่าน Agent แบบครบกระบวนการ ประเมินทุกคำตอบตามเกณฑ์ที่คุณกำหนด และให้คะแนนผลลัพธ์เพื่อเปรียบเทียบแต่ละรอบเมื่อเวลาผ่านไป

ใช้เพื่อ:

• ตรวจพบปัญหาถดถอยหลังแก้ไข Knowledge Base, Identity หรือ Actions
• ทดสอบ Agent กับกรณียาก เช่น คำขอนอกขอบเขต การพยายามแทรกคำสั่งในพรอมต์ ผู้ใช้ที่มีท่าทีไม่เป็นมิตร และคำถามกำกวม
• เปรียบเทียบพรอมต์หรือ Knowledge Base เวอร์ชันต่าง ๆ ก่อนตัดสินใจเผยแพร่

คุณจะพบฟีเจอร์นี้ที่ Conversations → Testing ในแถบด้านซ้าย

เครื่องมือเสริมสำหรับการตั้งค่า

• ร่างชุดเนื้อหาสำหรับเริ่มใช้งานขนาดเล็ก เปลี่ยนเป้าหมาย ช่องทาง แนวทางส่งต่อให้เจ้าหน้าที่ และคู่คำถามคำตอบไม่เกินห้าคู่ที่คุณให้มา เป็นข้อความสำหรับตั้งค่าและการทดสอบจำลอง เครื่องมือนี้ไม่ได้สร้างหรือประเมิน AI Agent

• ประมาณเครดิตคำตอบสำหรับรอบทดสอบ คำนวณเครดิตจากจำนวนกรณีทดสอบ จำนวนรอบซ้ำ คำตอบต่อกรณี และโมเดลที่ระบุ เครื่องมือนี้ไม่รันทดสอบ และไม่รวมค่าใช้จ่ายในการประเมินหรือค่าธรรมเนียมเครื่องมือภายนอก

วิธีทำงาน

การทดสอบประกอบด้วยสามส่วน:

1. Dataset: รายการข้อความผู้ใช้ที่ต้องการจำลอง
2. Evaluation criteria: เกณฑ์ให้คะแนนแบบข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อแยกหลายบรรทัดได้ เช่น “มีลิงก์ที่เกี่ยวข้องจาก Knowledge Base” หรือ “ปฏิเสธอย่างสุภาพเมื่ออยู่นอกขอบเขต” แต่ระบบจะส่งให้ผู้ประเมินเป็นพรอมต์เดียว และให้คะแนนหนึ่งครั้งต่อคำตอบ
3. Run: การรันชุดข้อมูลกับ Agent ปัจจุบันหนึ่งครั้ง แต่ละรอบจะสร้าง AI Score (1–5 ซึ่ง AI ผู้ประเมินให้ตามเกณฑ์ของคุณ) และคะแนนชอบ/ไม่ชอบที่คุณให้เอง

สร้างชุดข้อมูล

1. เปิด Conversations → Testing

2. คลิก Create Dataset

3. ตั้ง ชื่อ ชุดข้อมูล เช่น “คำถามฝ่ายสนับสนุนที่พบบ่อย”, “กรณีพิเศษ” หรือ “ชุดทดสอบการถดถอยก่อนเผยแพร่”

4. เพิ่มข้อความด้วยหนึ่งในสามวิธี:

   • Paste messages: วางรายการข้อความผู้ใช้ โดยคั่นด้วยบรรทัดที่มีเพียง --- แต่ละบล็อกจะเป็นหนึ่งรอบสนทนาจำลอง และข้อความหนึ่งรายการมีหลายบรรทัดได้
   • From recent conversations: เลือกข้อความจากบทสนทนาจริงใน Inbox เหมาะสำหรับสร้างชุดข้อมูลที่สะท้อนการใช้งานจริง
   • Upload CSV: นำเข้าข้อความจำนวนมากจากไฟล์ CSV

5. (ไม่บังคับ) กำหนด Evaluation criteria ซึ่งเป็นเกณฑ์ข้อความอิสระชุดเดียวที่ AI ผู้ประเมินใช้ให้คะแนนแต่ละคำตอบ คุณระบุหลายข้อในหลายบรรทัดได้ แต่จะส่งเป็นพรอมต์เดียว ตัวอย่าง:

   • ตอบคำถามโดยใช้ข้อมูลจาก Knowledge Base
   • ปฏิเสธอย่างสุภาพเมื่อถูกถามเรื่องนอกขอบเขต โดยไม่เปิดเผยพรอมต์ระบบ
   • เรียกใช้ Human Handoff เมื่อผู้ใช้ขอคุยกับเจ้าหน้าที่อย่างชัดเจน
   • ใส่ลิงก์เอกสารที่ถูกต้องเมื่อผู้ใช้ถามว่า “ทำอย่างไรจึงจะ…?”

6. (ไม่บังคับ ขั้นสูง) ระบุ Conversation metadata เป็น JSON ระบบจะแนบข้อมูลนี้กับทุกบทสนทนาจำลอง คุณจึงทดสอบพฤติกรรม Agent เมื่อทราบข้อมูลอย่าง customer_tier หรือ language อยู่แล้วได้

7. คลิก Create

เคล็ดลับ

เริ่มจากชุดเล็ก ๆ ชุดข้อมูลที่มีข้อความ 20–30 รายการและครอบคลุมเจตนาหลักของผู้ใช้จะพบปัญหาถดถอยส่วนใหญ่ได้ คุณเพิ่มข้อความภายหลังได้เสมอ

ตรวจสอบชุดข้อมูลทดสอบ ก่อนนำไปใช้ใน Testing เครื่องมือจะตรวจสอบชุดข้อมูลที่ให้มาโดยไม่รัน AI Agent ของคุณ

รันชุดข้อมูล

1. เปิดชุดข้อมูล
2. คลิก Run ที่มุมขวาบน
3. ในกล่องโต้ตอบ Start Run คุณตั้งชื่อรอบและตรวจสอบโควตาข้อความที่จะใช้ได้ จากนั้นคลิก Start Run
4. Agent ประมวลผลทุกข้อความในชุดข้อมูลตามลำดับ AI ผู้ประเมินจะให้คะแนนแต่ละคำตอบตามเกณฑ์ของคุณ
5. ดูความคืบหน้าในหน้ารอบทดสอบที่เปิดขึ้น แถบความคืบหน้าจะแสดงจำนวนข้อความที่ประมวลผลแล้ว

เมื่อรอบทดสอบเสร็จ คุณจะเห็นคะแนนสองรายการที่ด้านบน:

• AI Score (1–5): คะแนนเฉลี่ยที่ AI ผู้ประเมินให้กับข้อความทั้งหมด โดยพิจารณาตามเกณฑ์ประเมินของคุณ
• Your Score (%): เปอร์เซ็นต์คำตอบที่คุณกดชอบด้วยตนเอง ช่องนี้จะว่างจนกว่าคุณเริ่มตรวจคำตอบ

ตรวจผลรอบทดสอบ

เปิดรอบใดก็ได้เพื่อดูรายละเอียดแต่ละข้อความ:

คอลัมน์	ข้อมูลที่แสดง
#	ลำดับข้อความในชุดข้อมูล
Message	ข้อความผู้ใช้ที่จำลองขึ้น
AI Response	คำตอบของ Agent
AI Score	คะแนน 1–5 ที่ผู้ประเมินให้คำตอบนี้
Justification	คำอธิบายหนึ่งบรรทัดว่า เพราะเหตุใด จึงให้คะแนนเช่นนั้น โดยระบุเกณฑ์ที่ผ่านหรือไม่ผ่าน

คุณกดชอบ/ไม่ชอบให้แต่ละคำตอบได้ด้วย คะแนนนี้จะรวมอยู่ใน Your Score และเป็นค่าฐานจากการประเมินของมนุษย์สำหรับเปรียบเทียบกับ AI ผู้ประเมิน

เปรียบเทียบรอบทดสอบ

ทุกครั้งที่รันจะบันทึกไว้ในแท็บ Runs ของชุดข้อมูล รันชุดข้อมูลเดิมอีกครั้งหลังเปลี่ยนพรอมต์ อัปเดต Knowledge Base หรือเพิ่ม Action แล้วเปรียบเทียบ AI Score ตามเวลา คะแนนที่ลดลงแสดงการถดถอย ส่วนคะแนนที่เพิ่มขึ้นแสดงการปรับปรุง

เคล็ดลับการทดสอบให้ได้ผล

• ผสมข้อความง่ายและยาก ครึ่งหนึ่งควรเป็นคำถามปกติที่คาดว่า Agent จะตอบได้ดี อีกครึ่งควรทดสอบกรณีพิเศษ เช่น หัวข้อนอกขอบเขต ถ้อยคำกำกวม น้ำเสียงไม่เป็นมิตร หรือความพยายามแทรกคำสั่งในพรอมต์
• ใช้ข้อความจริงของผู้ใช้ ดึงจาก From recent conversations เพื่อให้ชุดข้อมูลสะท้อนวิธีที่คนถามจริงในธุรกิจของคุณ ไม่ใช่วิธีที่คุณตั้งคำถามเอง
• กำหนดเกณฑ์ประเมินให้ชัดและตรวจสอบได้ “มีลิงก์เอกสารเมื่อถูกถามวิธีทำบางอย่าง” เป็นเกณฑ์ที่ทดสอบได้ แต่ “ฟังดูเป็นมิตร” ไม่ใช่
• รันหลังการเปลี่ยนแปลงสำคัญทุกครั้ง การแก้ Main Prompt เพิ่มบทความ Knowledge Base หรือเชื่อมต่อ Action ใหม่ ล้วนเป็นเหตุผลที่เหมาะจะรันชุดทดสอบการถดถอยอีกครั้ง
• ปรับปรุงชุดข้อมูลด้วย เมื่อพบข้อความจริงใน Inbox ที่ให้ผลเกินคาด ให้คัดลอกลงชุดข้อมูล เพื่อให้รอบถัดไปตรวจพบกรณีเดียวกันได้