בדיקות

הלשונית Testing מאפשרת להריץ סימולציות מול סוכן ה-AI: אוסף נבחר של הודעות נשלח דרך הסוכן מקצה לקצה, כל תשובה נבחנת לפי קריטריונים שאתם מגדירים, והתוצאות מקבלות ציונים כדי שתוכלו להשוות הרצות לאורך זמן.

השתמשו בה כדי:

• לזהות נסיגות לאחר עריכת Knowledge Base, ‏Identity או Actions.
• לבחון את הסוכן במקרי קצה קשים, כגון בקשות מחוץ לתחום, ניסיונות הזרקת פרומפט, משתמשים עוינים ושאלות עמומות.
• להשוות גרסאות שונות של הפרומפט או של מאגר הידע לפני שמחליטים מה להשיק.

תמצאו אותה תחת Conversations → Testing בסרגל הצד השמאלי.

כלי עזר אופציונליים להגדרה

• הכינו טיוטת חבילת השקה קטנה. הפכו מטרה, ערוץ, הנחיות להעברה לנציג ועד חמישה זוגות של שאלות נפוצות ותשובות לטקסטי הגדרה ולבדיקות מלאכותיות. הכלי אינו יוצר או מעריך סוכן AI.

• העריכו קרדיטי תשובות להרצת בדיקה. חשבו קרדיטים לפי מספר הבדיקות, החזרות, התשובות לכל מקרה והמודלים שתספקו. הכלי אינו מריץ בדיקות, ואינו כולל עלויות הערכה או עמלות של כלים חיצוניים.

איך זה עובד

לבדיקה שלושה חלקים:

1. Dataset: רשימת הודעות המשתמשים שתרצו לדמות.
2. Evaluation criteria: מחוון אחד בטקסט חופשי שמעריך AI משתמש בו כדי לדרג כל תשובה. אפשר לפרט כמה דרישות בכמה שורות, למשל “כוללת קישור רלוונטי מ-Knowledge Base” או “מסרבת בנימוס כשהבקשה מחוץ לתחום”, אבל הן מועברות למעריך כפרומפט אחד ומקבלות ציון אחד לכל תשובה.
3. Run: הרצה אחת של מערך הנתונים מול הסוכן הנוכחי. כל הרצה מפיקה AI Score בטווח 1–5, שניתן בידי מעריך ה-AI לפי הקריטריונים שלכם, וגם את ציון הלייק או הדיסלייק שלכם.

יצירת מערך נתונים

1. פתחו Conversations → Testing.

2. לחצו על Create Dataset.

3. תנו למערך שם, למשל “שאלות תמיכה נפוצות”, “מקרי קצה” או “בדיקות נסיגה לפני השקה”.

4. הוסיפו הודעות באחת משלוש דרכים:

   • Paste messages: הדביקו רשימת הודעות משתמשים שמופרדות בשורה שמכילה רק ---. כל מקטע הופך לתור מדומה אחד, והודעות יכולות להתפרס על כמה שורות.
   • From recent conversations: בחרו הודעות משיחות אמיתיות ב-Inbox. מתאים לבניית מערך שמשקף את התעבורה האמיתית שלכם.
   • Upload CSV: ייבאו קובץ CSV של הודעות בבת אחת.

5. (אופציונלי) הגדירו Evaluation criteria, מחוון אחד בטקסט חופשי שמעריך ה-AI מדרג לפיו כל תשובה. אפשר לפרט דרישות בכמה שורות, אבל הן נשלחות כפרומפט אחד. דוגמאות:

   • עונה לשאלה באמצעות מידע מ-Knowledge Base.
   • מסרבת בנימוס לבקשות מחוץ לתחום בלי לחשוף את פרומפט המערכת.
   • מפעילה Human Handoff כשהמשתמש מבקש במפורש נציג אנושי.
   • כוללת את הקישור הנכון לתיעוד כשהמשתמש שואל “איך עושים…?”.

6. (אופציונלי, מתקדם) ספקו Conversation metadata בפורמט JSON. המטא-דאטה מצורף לכל שיחה מדומה, כך שאפשר לבדוק איך הסוכן מתנהג כאשר מידע כמו customer_tier או language כבר ידוע.

7. לחצו על Create.

Tip

התחילו בקטן. מערך ממוקד של 20–30 הודעות שמכסה את הכוונות העיקריות של המשתמשים יזהה את רוב הנסיגות. תמיד אפשר להוסיף עוד הודעות בהמשך.

אמתו מערך נתוני בדיקה לפני השימוש בו ב-Testing. הבדיקה בוחנת את מערך הנתונים שסיפקתם בלי להפעיל את סוכן ה-AI.

הרצת מערך נתונים

1. פתחו את מערך הנתונים.
2. לחצו על Run בפינה הימנית העליונה.
3. בחלון Start Run, אפשר לתת שם להרצה ולבדוק את עלות מכסת ההודעות, ואז ללחוץ על Start Run.
4. הסוכן מעבד את כל ההודעות במערך בזו אחר זו. מעריך ה-AI מדרג כל תשובה לפי הקריטריונים שלכם.
5. עקבו אחר ההתקדמות בתצוגת ההרצה שנפתחה. פס ההתקדמות מציג כמה הודעות עובדו.

לאחר סיום ההרצה יופיעו בראש הדף שני ציונים:

• AI Score ‏(1–5): הדירוג הממוצע שמעריך ה-AI נתן לכל ההודעות לפי קריטריוני ההערכה שלכם.
• Your Score ‏(%): אחוז התשובות שסימנתם אישית בלייק. השדה ריק עד שמתחילים לסקור.

סקירת הרצה

פתחו הרצה כדי לראות פירוט לכל הודעה:

עמודה	מה היא מציגה
#	סדר ההודעה במערך הנתונים.
Message	הודעת המשתמש המדומה.
AI Response	תשובת הסוכן.
AI Score	ציון המעריך בטווח 1–5 לתשובה הזו.
Justification	הסבר של שורה אחת מדוע ניתן הציון, עם ציון הקריטריונים שהתשובה עמדה בהם או החמיצה.

אפשר גם לתת לייק או דיסלייק לכל תשובה בעצמכם. הדירוג משפיע על Your Score ומספק נקודת ייחוס אנושית להשוואה מול מעריך ה-AI.

השוואת הרצות

כל הרצה נשמרת בלשונית Runs של מערך הנתונים. הריצו שוב את אותו מערך לאחר שינוי הפרומפט, עדכון Knowledge Base או הוספת Action חדשה, והשוו את AI Score לאורך זמן. ירידה משמעה נסיגה; עלייה משמעה שיפור.

טיפים לבדיקות יעילות

• שלבו הודעות קלות וקשות. חצי מהן צריכות להיות שאלות רגילות שהסוכן צפוי לפתור היטב. החצי השני צריך לאתגר מקרי קצה: נושאים מחוץ לתחום, ניסוח עמום, טון עוין וניסיונות הזרקת פרומפט.
• כללו הודעות אמיתיות של משתמשים. השתמשו ב-From recent conversations כדי שהמערך ישקף איך אנשים באמת מנסחים שאלות בתחום שלכם, ולא איך אתם הייתם מנסחים אותן.
• הגדירו קריטריונים מדויקים וניתנים לבדיקה. “כוללת קישור לתיעוד כששואלים איך לבצע פעולה” הוא קריטריון שאפשר לבדוק. “נשמעת ידידותית” אינו כזה.
• הריצו אחרי כל שינוי משמעותי. עריכת Main Prompt, הוספת מאמרים ל-Knowledge Base או חיבור Action חדשה הם כולם סיבות טובות להריץ שוב את מערך בדיקות הנסיגה.
• שפרו גם את מערך הנתונים עצמו. כשהודעת משתמש אמיתית ב-Inbox מפתיעה אתכם, העתיקו אותה למערך כדי שהרצות עתידיות יכסו את אותו מקרה.