الاختبار

يتيح تبويب Testing تشغيل محاكاة على وكيل AI: تُرسل مجموعة مختارة من الرسائل عبر المسار الكامل للوكيل، ويُقيّم كل رد وفق معايير تحددها، وتحصل النتائج على درجات لتتمكن من مقارنة التشغيلات بمرور الوقت.

استخدمه من أجل:

• اكتشاف التراجعات بعد تعديل Knowledge Base أو Identity أو Actions.
• اختبار الوكيل تحت الضغط في الحالات الصعبة، مثل الطلبات خارج النطاق ومحاولات حقن التعليمات والمستخدمين العدائيين والأسئلة الغامضة.
• مقارنة نسخ مختلفة من التعليمات أو قاعدة المعرفة قبل تحديد ما ستطلقه.

ستجده ضمن Conversations → Testing في الشريط الجانبي الأيسر.

أدوات إعداد اختيارية

• أعدّ مسودة حزمة إطلاق صغيرة. حوّل الهدف والقناة وملخص التحويل إلى موظف وما يصل إلى خمسة أزواج من الأسئلة الشائعة وإجاباتها إلى نصوص إعداد واختبارات اصطناعية. لا تنشئ هذه الأداة وكيل AI ولا تقيّمه.

• قدّر رصيد الردود لتشغيل اختبار. احسب الرصيد بناءً على أعداد الاختبارات والتكرارات والردود لكل حالة والنماذج التي تقدمها. لا تشغّل الأداة الاختبارات، ولا تشمل تكاليف التقييم أو رسوم الأدوات الخارجية.

كيف يعمل

يتكون الاختبار من ثلاثة أجزاء:

1. Dataset: قائمة رسائل المستخدمين التي تريد محاكاتها.
2. Evaluation criteria: معيار تقييم واحد بنص حر يستخدمه مقيّم AI لتقييم كل رد. يمكنك سرد متطلبات متعددة على عدة أسطر، مثل “يتضمن رابطًا مناسبًا من Knowledge Base” أو “يرفض بأدب عندما يكون الطلب خارج النطاق”، لكنها تُرسل للمقيّم كتعليمات واحدة وتحصل على تقييم واحد لكل رد.
3. Run: تشغيل واحد لمجموعة البيانات على الوكيل الحالي. ينتج كل تشغيل AI Score من 1–5 وفق تقييم AI لمعاييرك، إضافة إلى تقييمك بالإعجاب أو عدم الإعجاب.

إنشاء مجموعة بيانات

1. افتح Conversations → Testing.

2. اضغط Create Dataset.

3. أعطِ مجموعة البيانات اسمًا، مثل “أسئلة الدعم الشائعة” أو “الحالات الاستثنائية” أو “مجموعة كشف التراجعات قبل الإصدار”.

4. أضف الرسائل بإحدى ثلاث طرق:

   • Paste messages: الصق قائمة رسائل مستخدمين يفصل بينها سطر يحتوي فقط على ---. يصبح كل مقطع دورًا واحدًا في المحاكاة، ويمكن أن تمتد الرسالة عبر عدة أسطر.
   • From recent conversations: اختر رسائل من محادثات حقيقية في Inbox. هذه طريقة جيدة لإنشاء مجموعة تعكس استخدامك الفعلي.
   • Upload CSV: استورد ملف CSV من الرسائل دفعة واحدة.

5. (اختياري) حدد Evaluation criteria، وهي معايير تقييم بنص حر يقيّم AI كل رد وفقها. يمكنك سرد عدة متطلبات على أسطر متعددة، لكنها تُرسل كتعليمات واحدة. أمثلة:

   • يجيب عن السؤال باستخدام معلومات من Knowledge Base.
   • يرفض بأدب إذا طُلب منه شيء خارج النطاق، دون كشف تعليمات النظام.
   • يفعّل Human Handoff عندما يطلب المستخدم صراحة التحدث إلى شخص.
   • يتضمن رابط الوثائق الصحيح عندما يسأل المستخدم “كيف أفعل…؟”.

6. (اختياري، متقدم) قدّم Conversation metadata بصيغة JSON. تُرفق البيانات الوصفية بكل محادثة محاكاة، لتتمكن من اختبار سلوك الوكيل عندما تكون معلومات مثل customer_tier أو language معروفة مسبقًا.

7. اضغط Create.

نصيحة

ابدأ بنطاق صغير. تكشف مجموعة مركزة من 20–30 رسالة تغطي أهم مقاصد المستخدمين معظم التراجعات. يمكنك دائمًا إضافة رسائل أخرى لاحقًا.

تحقق من مجموعة بيانات اختبار قبل استخدامها في Testing. يفحص التحقق مجموعة البيانات المقدمة دون تشغيل وكيل AI.

تشغيل مجموعة بيانات

1. افتح مجموعة البيانات.
2. اضغط Run أعلى اليمين.
3. في نافذة Start Run، يمكنك تسمية التشغيل ومراجعة تكلفة حصة الرسائل، ثم اضغط Start Run.
4. يعالج الوكيل كل رسالة في المجموعة بالتتابع. يقيّم مقيّم AI كل رد وفق معاييرك.
5. تابع التقدم في عرض التشغيل المفتوح. يوضح شريط التقدم عدد الرسائل التي عولجت.

عند اكتمال التشغيل، سترى درجتين في الأعلى:

• AI Score ‏(1–5): متوسط التقييمات التي أعطاها مقيّم AI لجميع الرسائل، وفق معايير التقييم التي حددتها.
• Your Score ‏(%): نسبة الردود التي قيّمتها شخصيًا بالإعجاب. يبقى الحقل فارغًا حتى تبدأ المراجعة.

مراجعة تشغيل

افتح أي تشغيل للاطلاع على تفاصيل كل رسالة:

العمود	ما يعرضه
#	ترتيب الرسالة في مجموعة البيانات.
Message	رسالة المستخدم في المحاكاة.
AI Response	رد الوكيل.
AI Score	درجة المقيّم من 1–5 لهذا الرد تحديدًا.
Justification	شرح من سطر واحد لسبب إعطاء هذه الدرجة، مع ذكر المعايير التي استوفاها الرد أو أخفق فيها.

يمكنك أيضًا تقييم كل رد بالإعجاب أو عدم الإعجاب. يساهم ذلك في Your Score ويوفر مرجعًا بشريًا للمقارنة مع مقيّم AI.

مقارنة التشغيلات

يُحفظ كل تشغيل في تبويب Runs الخاص بمجموعة البيانات. أعد تشغيل المجموعة نفسها بعد تغيير التعليمات أو تحديث Knowledge Base أو إضافة Action جديدة، وقارن AI Score بمرور الوقت. الانخفاض يدل على تراجع، والارتفاع يدل على تحسن.

نصائح للاختبار الفعال

• امزج الرسائل السهلة والصعبة. اجعل نصفها أسئلة اعتيادية تتوقع أن يجيب عنها الوكيل بإتقان، والنصف الآخر لاختبار الحالات الصعبة: موضوعات خارج النطاق وصياغات غامضة ونبرة عدائية ومحاولات حقن التعليمات.
• أدرج رسائل حقيقية من المستخدمين. استخدم From recent conversations لتعكس المجموعة طريقة طرح الناس للأسئلة فعلًا في مجالك، لا طريقتك أنت.
• اجعل معايير التقييم محددة وقابلة للاختبار. “يتضمن رابطًا للوثائق عند السؤال عن كيفية تنفيذ شيء” قابل للاختبار. أما “يبدو ودودًا” فليس كذلك.
• شغّل الاختبار بعد كل تغيير مهم. تعديل Main Prompt أو إضافة مقالات إلى Knowledge Base أو ربط Action جديدة كلها أسباب مناسبة لإعادة تشغيل مجموعة كشف التراجعات.
• حسّن مجموعة البيانات نفسها باستمرار. عندما تفاجئك رسالة حقيقية في Inbox، انسخها إلى المجموعة حتى تكشف التشغيلات المستقبلية الحالة نفسها.