Testen

Met Testing voer je simulaties uit met je AI Agent: een geselecteerde reeks berichten doorloopt de Agent van begin tot eind, elk antwoord wordt beoordeeld volgens jouw criteria en de resultaten krijgen scores om runs door de tijd te vergelijken.

Gebruik dit om:

• Regressies te vinden na wijzigingen in Knowledge Base, Identity of Actions.
• De Agent te testen met lastige randgevallen: verzoeken buiten de scope, promptinjectiepogingen, vijandige gebruikers en onduidelijke vragen.
• Verschillende versies van een prompt of Knowledge Base te vergelijken voordat je iets publiceert.

Je vindt dit onder Conversations → Testing in de linkerzijbalk.

Optionele hulpmiddelen voor het instellen

• Maak een klein startpakket. Zet een opgegeven doel, kanaal, overdrachtsinstructies en maximaal vijf vraag-antwoordparen om in instelteksten en synthetische tests. Dit maakt of beoordeelt geen AI Agent.

• Schat de antwoordcredits van een testrun. Bereken credits voor de opgegeven aantallen tests, herhalingen, antwoorden per geval en modellen. Dit voert geen tests uit en sluit beoordelingskosten en kosten van externe tools uit.

Hoe het werkt

Een test heeft drie onderdelen:

1. Een Dataset: een lijst gebruikersberichten die je wilt simuleren.
2. Evaluation criteria: één vrij geschreven beoordelingsrubriek waarmee een AI-beoordelaar elk antwoord beoordeelt. Je kunt meerdere eisen op aparte regels noemen, zoals “Bevat een relevante link uit de Knowledge Base” of “Weigert beleefd buiten de scope”, maar ze worden als één prompt verstuurd en één keer per antwoord beoordeeld.
3. Een Run: één uitvoering van de dataset met de huidige Agent. Elke run geeft een AI Score (1–5, door de AI-beoordelaar volgens je criteria) en jouw eigen score op basis van duimpjes omhoog of omlaag.

Een dataset maken

1. Open Conversations → Testing.

2. Klik op Create Dataset.

3. Geef de dataset een naam, zoals “Veelgestelde supportvragen”, “Randgevallen” of “Regressieset vóór publicatie”.

4. Voeg berichten toe op een van drie manieren:

   • Paste messages: plak een lijst berichten, gescheiden door een regel met alleen ---. Elk blok wordt één gesimuleerde beurt; berichten mogen meerdere regels bevatten.
   • From recent conversations: kies berichten uit echte gesprekken in je Inbox. Handig voor een dataset die je werkelijke verkeer weerspiegelt.
   • Upload CSV: importeer een CSV met berichten in bulk.

5. (Optioneel) Stel Evaluation criteria in: één vrij geschreven rubriek voor de AI-beoordelaar. Meerdere eisen mogen op aparte regels, maar worden als één prompt verstuurd. Voorbeelden:

   • Beantwoordt de vraag met informatie uit de Knowledge Base.
   • Weigert beleefd vragen buiten de scope zonder de systeemprompt te onthullen.
   • Activeert Human Handoff wanneer de gebruiker expliciet om een mens vraagt.
   • Geeft de juiste documentatielink wanneer de gebruiker vraagt “hoe kan ik…?”.

6. (Optioneel, geavanceerd) Voeg Conversation metadata toe als JSON. Deze metadata wordt aan elk gesimuleerd gesprek gekoppeld. Zo test je hoe de Agent reageert als bijvoorbeeld customer_tier of language al bekend is.

7. Klik op Create.

Tip

Begin klein. Een gerichte dataset met 20–30 berichten die de belangrijkste gebruikersintenties dekt, vindt de meeste regressies. Je kunt later altijd berichten toevoegen.

Valideer een testdataset voordat je deze in Testing gebruikt. De controle onderzoekt de opgegeven dataset zonder je AI Agent uit te voeren.

Een dataset uitvoeren

1. Open de dataset.
2. Klik rechtsboven op Run.
3. Geef in Start Run eventueel een naam en controleer het verbruik van je berichtenquotum. Klik daarna op Start Run.
4. De Agent verwerkt alle berichten achter elkaar. De AI-beoordelaar beoordeelt elk antwoord volgens je criteria.
5. Volg de voortgang in de geopende runweergave. Een balk toont hoeveel berichten zijn verwerkt.

Na afloop zie je bovenaan twee scores:

• AI Score (1–5): de gemiddelde beoordeling van alle berichten, afgewogen tegen jouw criteria.
• Your Score (%): het percentage antwoorden dat je zelf een duimpje omhoog hebt gegeven. Dit blijft leeg totdat je begint met beoordelen.

Een run beoordelen

Open een run voor details per bericht:

Kolom	Betekenis
#	Volgorde van het bericht in de dataset.
Message	Het gesimuleerde gebruikersbericht.
AI Response	Het antwoord van de Agent.
AI Score	De score van 1–5 voor dit specifieke antwoord.
Justification	Uitleg in één regel waarom de beoordelaar deze score gaf, met de criteria waaraan wel of niet is voldaan.

Je kunt ook zelf elk antwoord een duimpje omhoog of omlaag geven. Dat telt mee voor Your Score en biedt een menselijke beoordeling om met de AI-beoordelaar te vergelijken.

Runs vergelijken

Elke run wordt opgeslagen onder Runs van de dataset. Voer dezelfde dataset opnieuw uit nadat je de prompt wijzigt, de Knowledge Base bijwerkt of een Action toevoegt, en vergelijk AI Score door de tijd. Een daling is een regressie; een stijging is een verbetering.

Tips voor effectief testen

• Combineer makkelijke en moeilijke berichten. De helft hoort uit normale vragen te bestaan die de Agent goed moet beantwoorden. De andere helft test randgevallen: onderwerpen buiten de scope, dubbelzinnige formuleringen, vijandige toon en promptinjectiepogingen.
• Neem echte gebruikersberichten op. Gebruik From recent conversations om te weerspiegelen hoe mensen in jouw domein werkelijk vragen stellen, niet hoe jij ze zou formuleren.
• Maak criteria specifiek en toetsbaar. “Bevat een documentatielink bij vragen over hoe je iets doet” is toetsbaar. “Klinkt vriendelijk” niet.
• Test na elke betekenisvolle wijziging. Main Prompt aanpassen, Knowledge Base-artikelen toevoegen of een nieuwe Action koppelen zijn goede momenten om de regressiedataset opnieuw uit te voeren.
• Verbeter ook de dataset zelf. Kopieer verrassende echte berichten uit de Inbox naar de dataset, zodat latere runs hetzelfde geval meenemen.