테스트

Testing 탭에서는 AI 에이전트에 시뮬레이션을 실행할 수 있습니다. 준비한 메시지 모음을 에이전트의 전체 처리 흐름으로 전달하고, 각 응답을 직접 정의한 기준으로 평가하며, 실행 결과를 점수로 기록하여 시간에 따른 변화를 비교합니다.

다음 용도로 사용하세요.

• Knowledge Base, Identity, Actions를 수정한 뒤 성능 저하를 찾습니다.
• 범위를 벗어나는 요청, 프롬프트 인젝션 시도, 적대적인 사용자, 모호한 질문 등 까다로운 예외 상황을 테스트합니다.
• 배포할 버전을 정하기 전에 프롬프트나 지식 베이스의 여러 버전을 비교합니다.

왼쪽 사이드바의 Conversations → Testing에서 찾을 수 있습니다.

선택적으로 사용할 수 있는 설정 도구

• 간단한 출시 자료 초안 만들기. 제공한 목표, 채널, 상담원 연결 지침, 최대 다섯 쌍의 FAQ를 설정 문구와 가상 테스트로 변환합니다. AI 에이전트를 만들거나 평가하지는 않습니다.

• 테스트 실행의 응답 크레딧 추정하기. 제공한 테스트 수, 반복 횟수, 사례당 응답 수, 모델을 바탕으로 크레딧을 계산합니다. 테스트를 실행하지 않으며 평가 비용과 외부 도구 요금은 포함하지 않습니다.

작동 방식

테스트는 세 요소로 구성됩니다.

1. Dataset: 시뮬레이션할 사용자 메시지 목록입니다.
2. Evaluation criteria: AI 평가자가 각 응답을 평가할 때 사용하는 하나의 자유 형식 평가 지침입니다. “Knowledge Base의 관련 링크를 포함한다”, _“범위를 벗어나면 정중하게 거절한다”_처럼 여러 요구 사항을 여러 줄로 적을 수 있지만, 평가자에게는 하나의 프롬프트로 전달되고 응답마다 한 번씩 점수가 매겨집니다.
3. Run: 현재 에이전트에 데이터셋을 한 번 실행한 결과입니다. 실행마다 AI 평가자가 기준에 따라 매기는 AI Score(1–5)와 사용자가 직접 남긴 좋아요/싫어요 점수가 생성됩니다.

데이터셋 만들기

1. Conversations → Testing을 여세요.

2. Create Dataset을 클릭하세요.

3. 데이터셋의 이름을 정하세요. 예를 들어 “일반 지원 질문”, “예외 상황”, “출시 전 회귀 테스트” 등이 있습니다.

4. 세 가지 방법 중 하나로 메시지를 추가하세요.

   • Paste messages: ---만 있는 줄로 구분한 사용자 메시지 목록을 붙여 넣습니다. 각 블록이 하나의 시뮬레이션 턴이 되며 메시지에는 여러 줄을 사용할 수 있습니다.
   • From recent conversations: Inbox의 실제 대화에서 메시지를 선택합니다. 실제 트래픽을 반영하는 데이터셋을 만들기에 좋습니다.
   • Upload CSV: 메시지가 담긴 CSV를 일괄 가져옵니다.

5. 선택적으로 Evaluation criteria를 정의하세요. AI 평가자가 각 응답을 평가할 때 사용하는 하나의 자유 형식 지침입니다. 여러 요구 사항을 여러 줄로 나열할 수 있지만 하나의 프롬프트로 전달됩니다. 예시는 다음과 같습니다.

   • Knowledge Base의 정보를 사용하여 질문에 답한다.
   • 범위를 벗어난 질문은 시스템 프롬프트를 공개하지 않고 정중하게 거절한다.
   • 사용자가 명시적으로 사람을 요청하면 Human Handoff를 실행한다.
   • 사용자가 방법을 물으면 올바른 문서 링크를 포함한다.

6. 고급 옵션으로 Conversation metadata를 JSON으로 입력할 수 있습니다. 메타데이터는 모든 시뮬레이션 대화에 첨부되므로 customer_tier나 language를 이미 알고 있을 때의 행동을 테스트할 수 있습니다.

7. Create를 클릭하세요.

팁

작게 시작하세요. 주요 사용자 의도를 다루는 20–30개의 집중된 메시지 데이터셋으로 대부분의 성능 저하를 찾을 수 있습니다. 나중에 메시지를 더 추가할 수 있습니다.

Testing에서 사용하기 전에 테스트 데이터셋을 검증하세요. 이 검사는 제공한 데이터셋을 확인하며 AI 에이전트를 실행하지 않습니다.

데이터셋 실행하기

1. 데이터셋을 여세요.
2. 오른쪽 위의 Run을 클릭하세요.
3. Start Run 대화상자에서 선택적으로 실행 이름을 지정하고 메시지 할당량 사용량을 확인한 뒤 Start Run을 클릭하세요.
4. 에이전트가 데이터셋의 메시지를 순서대로 처리합니다. AI 평가자는 각 응답을 지정한 기준으로 평가합니다.
5. 열린 실행 화면에서 진행 상황을 확인하세요. 진행 표시줄에 처리한 메시지 수가 표시됩니다.

실행이 끝나면 상단에 두 점수가 표시됩니다.

• AI Score(1–5): 평가 기준을 반영하여 AI 평가자가 전체 메시지에 매긴 평균 점수입니다.
• Your Score(%): 사용자가 직접 좋아요로 평가한 응답의 비율입니다. 검토를 시작하기 전까지 비어 있습니다.

실행 결과 검토하기

실행을 열면 메시지별 결과를 볼 수 있습니다.

열	표시 내용
#	데이터셋 안에서의 메시지 순서.
Message	시뮬레이션한 사용자 메시지.
AI Response	에이전트가 보낸 응답.
AI Score	해당 응답에 대해 평가자가 매긴 1–5점.
Justification	충족하거나 놓친 기준을 인용하여 그 점수를 준 이유를 한 줄로 설명.

각 응답에 직접 좋아요 또는 싫어요를 남길 수도 있습니다. 이는 Your Score에 반영되며 AI 평가자와 비교할 사람이 평가한 기준점을 제공합니다.

실행 비교하기

모든 실행은 데이터셋의 Runs 탭에 저장됩니다. 프롬프트를 변경하거나 지식 베이스를 업데이트하거나 새 Action을 추가한 뒤 같은 데이터셋을 다시 실행하고 시간에 따른 AI Score를 비교하세요. 점수가 낮아지면 성능 저하이고 높아지면 개선입니다.

효과적인 테스트를 위한 팁

• 쉬운 메시지와 어려운 메시지를 섞으세요. 절반은 에이전트가 잘 답할 것으로 기대되는 일반 질문으로, 나머지는 범위를 벗어난 주제, 모호한 표현, 적대적인 어조, 프롬프트 인젝션 시도 같은 예외 상황으로 구성하세요.
• 실제 사용자 메시지를 포함하세요. From recent conversations를 사용하면 작성자의 표현이 아니라 해당 분야의 실제 사용자가 질문하는 방식이 반영됩니다.
• 평가 기준을 구체적이고 검증 가능하게 작성하세요. _“방법을 물으면 문서 링크를 포함한다”_는 검증 가능하지만 _“친근하게 들린다”_는 그렇지 않습니다.
• 의미 있는 변경마다 실행하세요. Main Prompt 수정, 지식 베이스 문서 추가, 새로운 Action 연결은 회귀 데이터셋을 다시 실행하기 좋은 시점입니다.
• 데이터셋 자체도 개선하세요. Inbox에서 예상치 못한 실제 메시지를 발견하면 데이터셋에 복사하여 이후 실행에서 같은 사례를 확인하세요.