Test

La scheda Testing permette di eseguire simulazioni sull’AI Agent: una raccolta selezionata di messaggi attraversa l’intero flusso dell’Agent, ogni risposta viene valutata secondo i tuoi criteri e i risultati ricevono un punteggio per confrontare le esecuzioni nel tempo.

Usala per:

• Rilevare regressioni dopo modifiche a Knowledge Base, Identity o Actions.
• Mettere alla prova l’Agent con casi difficili: richieste fuori ambito, tentativi di prompt injection, utenti ostili e domande ambigue.
• Confrontare versioni diverse del prompt o della Knowledge Base prima di decidere cosa pubblicare.

La trovi in Conversations → Testing nella barra laterale sinistra.

Strumenti di configurazione facoltativi

• Prepara un piccolo kit di lancio. Trasforma un obiettivo, un canale, le indicazioni per il passaggio a un operatore e fino a cinque coppie di domande e risposte in testi di configurazione e test sintetici. Lo strumento non crea né valuta un AI Agent.

• Stima i crediti delle risposte di un test. Calcola i crediti in base al numero di test, alle ripetizioni, alle risposte per caso e ai modelli indicati. Non esegue test ed esclude i costi di valutazione e degli strumenti esterni.

Come funziona

Un test ha tre componenti:

1. Un Dataset: l’elenco dei messaggi degli utenti da simulare.
2. Evaluation criteria: un’unica griglia di valutazione a testo libero che un valutatore AI usa per giudicare ogni risposta. Puoi elencare più requisiti su più righe, per esempio “Include un link pertinente dalla Knowledge Base” o “Rifiuta educatamente le richieste fuori ambito”, ma vengono passati come un solo prompt e valutati una volta per risposta.
3. Un Run: un’esecuzione del dataset sull’Agent attuale. Ogni esecuzione produce un AI Score (1–5, assegnato dal valutatore AI secondo i tuoi criteri) e il tuo punteggio basato su pollice in su o in giù.

Creare un dataset

1. Apri Conversations → Testing.

2. Fai clic su Create Dataset.

3. Assegna un nome, per esempio “Domande frequenti di assistenza”, “Casi limite” o “Test di regressione prima del rilascio”.

4. Aggiungi i messaggi con uno di questi tre metodi:

   • Paste messages: incolla un elenco di messaggi separati da una riga contenente solo ---. Ogni blocco diventa un turno simulato; i messaggi possono occupare più righe.
   • From recent conversations: scegli messaggi da conversazioni reali nell’Inbox. Utile per un dataset che rappresenti il traffico effettivo.
   • Upload CSV: importa in blocco un CSV di messaggi.

5. (Facoltativo) Definisci Evaluation criteria, una griglia a testo libero con cui il valutatore AI giudica ogni risposta. Puoi elencare più requisiti su più righe, ma vengono inviati come un solo prompt. Esempi:

   • Risponde usando informazioni della Knowledge Base.
   • Rifiuta educatamente richieste fuori ambito, senza rivelare il prompt di sistema.
   • Attiva Human Handoff quando l’utente chiede esplicitamente una persona.
   • Include il link corretto alla documentazione quando l’utente chiede “come faccio a…?”.

6. (Facoltativo, avanzato) Fornisci Conversation metadata in JSON. I metadati vengono allegati a ogni conversazione simulata, così puoi verificare il comportamento quando, per esempio, customer_tier o language sono già noti.

7. Fai clic su Create.

Consiglio

Inizia con poco. Un dataset mirato di 20–30 messaggi che copra gli intenti principali rileva la maggior parte delle regressioni. Potrai aggiungere altri messaggi in seguito.

Valida il dataset di test prima di usarlo in Testing. Il controllo esamina il dataset fornito senza eseguire l’AI Agent.

Eseguire un dataset

1. Apri il dataset.
2. Fai clic su Run in alto a destra.
3. Nella finestra Start Run, puoi assegnare un nome e controllare il consumo della quota messaggi, poi fai clic su Start Run.
4. L’Agent elabora tutti i messaggi in sequenza. Il valutatore AI giudica ogni risposta secondo i tuoi criteri.
5. Segui l’avanzamento nella vista dell’esecuzione: la barra mostra quanti messaggi sono stati elaborati.

Al termine, in alto compaiono due punteggi:

• AI Score (1–5): la valutazione media assegnata dal valutatore AI a tutti i messaggi, in base ai tuoi criteri.
• Your Score (%): la percentuale di risposte che hai personalmente approvato con il pollice in su. Resta vuoto finché non inizi la revisione.

Esaminare un’esecuzione

Apri un’esecuzione per vedere il dettaglio di ogni messaggio:

Colonna	Contenuto
#	Ordine del messaggio nel dataset.
Message	Il messaggio utente simulato.
AI Response	La risposta dell’Agent.
AI Score	Il punteggio 1–5 del valutatore per questa risposta.
Justification	Una riga che spiega perché è stato assegnato quel punteggio, indicando i criteri soddisfatti o mancati.

Puoi anche valutare personalmente ogni risposta con pollice in su o in giù. Questo contribuisce a Your Score e fornisce una base umana da confrontare con il valutatore AI.

Confrontare le esecuzioni

Ogni esecuzione è salvata nella scheda Runs del dataset. Ripeti lo stesso dataset dopo aver cambiato il prompt, aggiornato la Knowledge Base o aggiunto una nuova Action, e confronta AI Score nel tempo. Una diminuzione indica una regressione; un aumento indica un miglioramento.

Consigli per test efficaci

• Combina messaggi facili e difficili. Metà dovrebbero essere domande normali che l’Agent sa gestire bene; l’altra metà dovrebbe mettere alla prova casi limite, come temi fuori ambito, formulazioni ambigue, toni ostili o tentativi di prompt injection.
• Includi messaggi reali. Usa From recent conversations affinché il dataset rappresenti come le persone formulano davvero le domande nel tuo settore, non come le scriveresti tu.
• Mantieni criteri specifici e verificabili. “Include un link alla documentazione quando viene chiesto come fare qualcosa” è verificabile. “Sembra cordiale” non lo è.
• Ripeti i test dopo ogni modifica significativa. Cambiare Main Prompt, aggiungere articoli alla Knowledge Base o collegare una nuova Action sono buoni motivi per rieseguire il dataset di regressione.
• Migliora anche il dataset. Quando un messaggio reale nell’Inbox ti sorprende, copialo nel dataset affinché i test futuri rilevino lo stesso caso.