Pengujian

Tab Testing memungkinkan Anda menjalankan simulasi terhadap Agen AI: kumpulan pesan yang dipilih dikirim melalui Agen dari awal hingga akhir, setiap jawaban dinilai menurut kriteria Anda, dan hasilnya diberi skor agar dapat dibandingkan dari waktu ke waktu.

Gunakan untuk:

• Menemukan regresi setelah mengedit Knowledge Base, Identity, atau Actions.
• Menguji ketahanan Agen pada kasus sulit, seperti permintaan di luar cakupan, upaya injeksi prompt, pengguna bermusuhan, dan pertanyaan ambigu.
• Membandingkan berbagai versi prompt atau Knowledge Base sebelum memutuskan mana yang akan dirilis.

Fitur ini tersedia di Conversations → Testing pada bilah sisi kiri.

Alat penyiapan opsional

• Susun paket peluncuran kecil. Ubah tujuan, kanal, ringkasan pengalihan ke manusia, dan hingga lima pasangan tanya jawab yang diberikan menjadi teks penyiapan dan pengujian sintetis. Alat ini tidak membuat atau mengevaluasi Agen AI.

• Perkirakan kredit balasan pengujian. Hitung kredit berdasarkan jumlah kasus uji, pengulangan, balasan per kasus, dan model yang diberikan. Alat ini tidak menjalankan pengujian dan tidak mencakup biaya evaluasi atau alat eksternal.

Cara kerjanya

Sebuah pengujian memiliki tiga bagian:

1. Dataset: daftar pesan pengguna yang ingin disimulasikan.
2. Evaluation criteria: satu rubrik penilaian dalam teks bebas yang digunakan penilai AI untuk menilai setiap jawaban. Anda dapat mencantumkan beberapa persyaratan dalam beberapa baris, misalnya “Menyertakan tautan relevan dari Knowledge Base” atau “Menolak dengan sopan jika di luar cakupan”, tetapi semuanya diberikan kepada penilai sebagai satu prompt dan dinilai sekali per jawaban.
3. Run: satu eksekusi dataset terhadap Agen saat ini. Setiap eksekusi menghasilkan AI Score (1–5, dinilai oleh penilai AI berdasarkan kriteria Anda) dan skor suka/tidak suka dari Anda sendiri.

Membuat dataset

1. Buka Conversations → Testing.

2. Klik Create Dataset.

3. Beri dataset nama, misalnya “Pertanyaan dukungan umum”, “Kasus khusus”, atau “Kumpulan regresi prarilis”.

4. Tambahkan pesan dengan salah satu dari tiga metode:

   • Paste messages: tempel daftar pesan pengguna yang dipisahkan oleh baris berisi hanya ---. Setiap blok menjadi satu giliran simulasi; pesan boleh terdiri atas beberapa baris.
   • From recent conversations: pilih pesan dari percakapan nyata di Inbox. Cara ini cocok untuk membangun dataset yang mewakili trafik Anda sebenarnya.
   • Upload CSV: impor banyak pesan sekaligus dari CSV.

5. (Opsional) Tetapkan Evaluation criteria, yaitu satu rubrik penilaian teks bebas yang digunakan penilai AI untuk setiap jawaban. Anda dapat menuliskan beberapa persyaratan dalam beberapa baris, tetapi semuanya dikirim sebagai satu prompt. Contoh:

   • Menjawab pertanyaan menggunakan informasi dari Knowledge Base.
   • Menolak dengan sopan jika diminta sesuatu di luar cakupan tanpa mengungkapkan prompt sistem.
   • Memicu Human Handoff ketika pengguna secara eksplisit meminta berbicara dengan manusia.
   • Menyertakan tautan dokumentasi yang benar ketika pengguna bertanya “bagaimana cara…?”.

6. (Opsional, lanjutan) Berikan Conversation metadata dalam JSON. Metadata ini dilampirkan ke setiap percakapan simulasi, sehingga Anda dapat menguji perilaku Agen saat, misalnya, customer_tier atau language sudah diketahui.

7. Klik Create.

Tips

Mulai dari kecil. Dataset terarah berisi 20–30 pesan yang mencakup maksud utama pengguna akan menangkap sebagian besar regresi. Anda selalu dapat menambahkan pesan lagi nanti.

Validasi dataset pengujian sebelum menggunakannya di Testing. Pemeriksaan ini memeriksa dataset yang diberikan tanpa menjalankan Agen AI Anda.

Menjalankan dataset

1. Buka dataset.
2. Klik Run di kanan atas.
3. Dalam dialog Start Run, berikan nama pengujian jika diinginkan dan tinjau biaya kuota pesan, lalu klik Start Run.
4. Agen memproses setiap pesan dalam dataset secara berurutan. Setiap jawaban dinilai oleh penilai AI berdasarkan kriteria Anda.
5. Pantau kemajuan pada tampilan pengujian yang terbuka. Bilah kemajuan menunjukkan jumlah pesan yang telah diproses.

Setelah pengujian selesai, dua skor akan muncul di atas:

• AI Score (1–5): rata-rata penilaian yang diberikan penilai AI untuk seluruh pesan berdasarkan kriteria evaluasi Anda.
• Your Score (%): persentase jawaban yang Anda beri tanda suka secara pribadi. Bagian ini kosong hingga Anda mulai meninjau.

Meninjau pengujian

Buka pengujian apa pun untuk melihat perincian per pesan:

Kolom	Yang ditampilkan
#	Urutan pesan dalam dataset.
Message	Pesan pengguna yang disimulasikan.
AI Response	Jawaban Agen.
AI Score	Skor 1–5 dari penilai untuk jawaban ini.
Justification	Penjelasan satu baris tentang alasan penilai memberikan skor tersebut, termasuk kriteria yang dipenuhi atau terlewat.

Anda juga dapat memberi tanda suka/tidak suka pada setiap jawaban. Penilaian ini berkontribusi pada Your Score dan menyediakan acuan penilaian manusia untuk dibandingkan dengan penilai AI.

Membandingkan pengujian

Setiap pengujian disimpan pada tab Runs dataset. Jalankan kembali dataset yang sama setelah mengubah prompt, memperbarui Knowledge Base, atau menambahkan Action baru, lalu bandingkan AI Score dari waktu ke waktu. Penurunan menunjukkan regresi; kenaikan menunjukkan perbaikan.

Tips pengujian yang efektif

• Gabungkan pesan mudah dan sulit. Separuh sebaiknya berupa pertanyaan normal yang Anda harapkan dapat dijawab Agen dengan baik; separuh lainnya menguji kasus khusus, seperti topik di luar cakupan, kalimat ambigu, nada bermusuhan, atau upaya injeksi prompt.
• Sertakan pesan pengguna nyata. Ambil dari From recent conversations agar dataset mewakili cara orang benar-benar bertanya di bidang Anda, bukan cara Anda menyusun pertanyaan.
• Buat kriteria evaluasi yang spesifik dan dapat diuji. “Menyertakan tautan dokumentasi saat ditanya cara melakukan sesuatu” dapat diuji. “Terdengar ramah” tidak.
• Jalankan setelah setiap perubahan penting. Mengedit Main Prompt, menambahkan artikel Knowledge Base, atau menghubungkan Action baru merupakan alasan yang tepat untuk menjalankan kembali dataset regresi.
• Perbaiki juga dataset itu sendiri. Saat pesan pengguna nyata di Inbox mengejutkan Anda, salin ke dataset agar pengujian berikutnya menangkap kasus yang sama.