Test

Testing sekmesi, AI Agent’ınız üzerinde simülasyonlar çalıştırmanızı sağlar. Seçtiğiniz mesajlar Agent üzerinden uçtan uca işlenir, her yanıt tanımladığınız ölçütlere göre değerlendirilir ve sonuçlar zaman içinde karşılaştırabileceğiniz puanlarla gösterilir.

Şunlar için kullanın:

• Knowledge Base, Identity veya Actions düzenlemelerinden sonra gerilemeleri yakalamak.
• Agent’ı zor uç durumlarla sınamak: kapsam dışı istekler, prompt injection girişimleri, saldırgan kullanıcılar, belirsiz sorular.
• Hangi sürümü yayınlayacağınıza karar vermeden önce prompt veya Knowledge Base sürümlerini karşılaştırmak.

Sol kenar çubuğunda Conversations → Testing altında bulabilirsiniz.

İsteğe bağlı kurulum araçları

• Küçük bir başlangıç paketi hazırlayın. Verdiğiniz hedefi, kanalı, insana devretme yönergesini ve en fazla beş soru-cevap çiftini kurulum metinlerine ve sentetik testlere dönüştürün. Bu araç bir AI Agent oluşturmaz veya değerlendirmez.

• Test çalıştırmasının yanıt kredilerini tahmin edin. Verilen test sayıları, tekrarlar, vaka başına yanıtlar ve modeller için kredi hesaplayın. Bu araç test çalıştırmaz; değerlendirme maliyetlerini ve harici araç ücretlerini kapsamaz.

Nasıl çalışır?

Bir test üç bölümden oluşur:

1. Dataset: Simüle etmek istediğiniz kullanıcı mesajlarının listesi.
2. Evaluation criteria: AI değerlendiricisinin her yanıtı puanlamak için kullandığı tek bir serbest metin değerlendirme yönergesi. “Knowledge Base’den ilgili bir bağlantı içerir” veya “Kapsam dışındaysa nazikçe reddeder” gibi birden fazla gereksinimi farklı satırlarda yazabilirsiniz; ancak bunlar değerlendiriciye tek bir prompt olarak gönderilir ve her yanıt bir kez puanlanır.
3. Run: Veri kümesinin mevcut Agent üzerinde bir kez çalıştırılması. Her çalıştırma bir AI Score (ölçütlerinize göre AI değerlendiricisinin verdiği 1–5 puan) ve kendi beğeni/beğenmeme puanınızı üretir.

Veri kümesi oluşturma

1. Conversations → Testing bölümünü açın.

2. Create Dataset düğmesine tıklayın.

3. Veri kümesine bir ad verin. Örneğin “Yaygın destek soruları”, “Uç durumlar” veya “Yayın öncesi regresyon kümesi”.

4. Üç yöntemden biriyle mesaj ekleyin:

   • Paste messages: Yalnızca --- içeren bir satırla ayrılmış kullanıcı mesajlarını yapıştırın. Her blok bir simülasyon turu olur; mesajlar birden fazla satır içerebilir.
   • From recent conversations: Inbox içindeki gerçek konuşmalardan mesaj seçin. Gerçek trafiğinizi yansıtan bir veri kümesi oluşturmak için uygundur.
   • Upload CSV: Mesajları bir CSV dosyasından topluca içe aktarın.

5. İsteğe bağlı olarak Evaluation criteria tanımlayın. Bu, AI değerlendiricisinin her yanıtı puanlamak için kullandığı tek bir serbest metin yönergesidir. Birden fazla gereksinimi ayrı satırlarda yazabilirsiniz, ancak tek prompt olarak gönderilirler. Örnekler:

   • Soruyu Knowledge Base’deki bilgilerle yanıtlar.
   • Kapsam dışı bir soru sorulduğunda sistem prompt’unu açığa çıkarmadan nazikçe reddeder.
   • Kullanıcı açıkça bir insan istediğinde Human Handoff’u tetikler.
   • Kullanıcı bir şeyi nasıl yapacağını sorduğunda doğru belge bağlantısını içerir.

6. İsteğe bağlı, gelişmiş seçenek olarak Conversation metadata alanına JSON girin. Bu metaveriler her simüle edilen konuşmaya eklenir. Örneğin customer_tier veya language zaten biliniyorsa Agent’ın nasıl davranacağını test edebilirsiniz.

7. Create düğmesine tıklayın.

İpucu

Küçük başlayın. Başlıca kullanıcı amaçlarını kapsayan 20–30 mesajlık odaklı bir veri kümesi çoğu gerilemeyi yakalar. Daha sonra her zaman yeni mesajlar ekleyebilirsiniz.

Testing’de kullanmadan önce test veri kümesini doğrulayın. Kontrol, AI Agent’ınızı çalıştırmadan verilen veri kümesini inceler.

Veri kümesini çalıştırma

1. Veri kümesini açın.
2. Sağ üstteki Run düğmesine tıklayın.
3. Start Run iletişim kutusunda isterseniz çalıştırmaya ad verin, mesaj kotası maliyetini inceleyin ve Start Run düğmesine tıklayın.
4. Agent, veri kümesindeki mesajları sırayla işler. Her yanıt AI değerlendiricisi tarafından ölçütlerinize göre puanlanır.
5. Açılan çalıştırma görünümünde ilerlemeyi izleyin. İlerleme çubuğu işlenen mesaj sayısını gösterir.

Çalıştırma tamamlandığında üstte iki puan görürsünüz:

• AI Score (1–5): AI değerlendiricisinin tüm mesajlara verdiği, değerlendirme ölçütlerinize göre ağırlıklandırılmış ortalama puan.
• Your Score (%): Sizin beğendiğiniz yanıtların yüzdesi. İncelemeye başlayana kadar boş kalır.

Bir çalıştırmayı inceleme

Mesaj bazındaki ayrıntıları görmek için herhangi bir çalıştırmayı açın:

Sütun	Gösterdiği bilgi
#	Mesajın veri kümesindeki sırası.
Message	Simüle edilen kullanıcı mesajı.
AI Response	Agent’ın verdiği yanıt.
AI Score	Değerlendiricinin bu yanıta verdiği 1–5 puan.
Justification	Puanın neden verildiğini, karşılanan veya kaçırılan ölçütleri belirterek tek satırda açıklar.

Her yanıtı kendiniz de beğenebilir veya beğenmeyebilirsiniz. Bu değerlendirme Your Score değerine katkıda bulunur ve AI değerlendiricisiyle karşılaştırabileceğiniz insan tarafından puanlanmış bir başlangıç noktası sağlar.

Çalıştırmaları karşılaştırma

Her çalıştırma veri kümesinin Runs sekmesinde saklanır. Prompt’u değiştirdikten, Knowledge Base’i güncelledikten veya yeni bir Action ekledikten sonra aynı veri kümesini tekrar çalıştırıp AI Score’un zaman içindeki değişimini karşılaştırın. Düşüş gerileme, yükseliş iyileşmedir.

Etkili test için ipuçları

• Kolay ve zor mesajları karıştırın. Yarısı Agent’ın başarıyla yanıtlamasını beklediğiniz normal sorular olmalı; diğer yarısı kapsam dışı konular, belirsiz ifadeler, saldırgan ton veya prompt injection girişimleri gibi uç durumları zorlamalıdır.
• Gerçek kullanıcı mesajlarını ekleyin. Veri kümesinin sizin yazım tarzınızı değil, alanınızdaki insanların gerçekten nasıl soru sorduğunu yansıtması için From recent conversations seçeneğini kullanın.
• Değerlendirme ölçütlerini somut ve test edilebilir tutun. “Bir şeyin nasıl yapılacağı sorulduğunda belge bağlantısı içerir” test edilebilir. “Samimi geliyor” ise değildir.
• Anlamlı her değişiklikten sonra çalıştırın. Main Prompt’u düzenlemek, Knowledge Base makalesi eklemek veya yeni bir Action bağlamak regresyon veri kümesini tekrar çalıştırmak için uygun nedenlerdir.
• Veri kümesini de geliştirin. Inbox’ta gerçek bir kullanıcı mesajı sizi şaşırttığında bunu veri kümesine kopyalayın; böylece sonraki çalıştırmalar aynı durumu yakalayabilir.