測試

Testing 分頁可讓您對 AI Agent 執行 模擬測試：將精選的一組訊息完整送入 Agent 流程，依您定義的標準評估每個回答，並為結果評分，讓您能持續比較不同執行結果。

可用於：

• 編輯 Knowledge Base、Identity 或 Actions 後，發現功能退化。
• 以棘手的邊界情況測試 Agent，例如超出範圍的要求、提示詞注入攻擊、敵意使用者及模糊問題。
• 在決定發布內容前，比較不同版本的提示詞或 Knowledge Base。

您可在左側欄的 Conversations → Testing 找到此功能。

選用設定工具

• 草擬小型上線內容包。將您提供的目標、通路、轉交真人的需求說明，以及最多五組常見問答，轉換成設定文字與模擬測試。此工具不會建立或評估 AI Agent。

• 估算測試執行的回覆點數。根據提供的測試數、重複次數、每個案例的回覆數與模型計算點數。此工具不會執行測試，且不含評估成本或外部工具費用。

運作方式

每個測試包含三個部分：

1. Dataset：您想模擬的使用者訊息清單。
2. Evaluation criteria：以自由文字撰寫的單一評分準則，由 AI 評審據此評估每個回答。您可以分行列出多項要求，例如 「包含 Knowledge Base 中的相關連結」、「超出範圍時禮貌拒絕」，但這些內容會作為一個提示詞傳給評審，每個回答只評分一次。
3. Run：使用目前 Agent 執行資料集一次。每次執行會產生 AI Score（1–5 分，由 AI 評審依您的標準評分），以及您自己按讚或不喜歡的評分。

建立資料集

1. 開啟 Conversations → Testing。

2. 按一下 Create Dataset。

3. 為資料集設定 名稱，例如 「常見支援問題」、「邊界情況」 或 「發布前回歸測試集」。

4. 使用下列三種方式之一加入訊息：

   • Paste messages：貼上使用者訊息清單，以僅包含 --- 的一行分隔。每個區塊會成為一個模擬回合，訊息可跨多行。
   • From recent conversations：從 Inbox 中的真實對話挑選訊息。適合建立反映實際使用流量的資料集。
   • Upload CSV：從 CSV 大量匯入訊息。

5. （選用）定義 Evaluation criteria，也就是 AI 評審用來評估每個回答的單一自由文字準則。您可分多行列出多項要求，但系統會將其作為一個提示詞傳送。例如：

   • 使用 Knowledge Base 資訊回答問題。
   • 遇到超出範圍的問題時禮貌拒絕，且不洩露系統提示詞。
   • 使用者明確要求真人協助時，觸發 Human Handoff。
   • 使用者詢問「我要如何……？」時，提供正確的文件連結。

6. （選用，進階）以 JSON 提供 Conversation metadata。中繼資料會附加至每段模擬對話，讓您測試 Agent 在已知 customer_tier 或 language 等資訊時的行為。

7. 按一下 Create。

提示

從小規模開始。聚焦於主要使用者意圖的 20–30 則訊息資料集，就能找出大多數退化問題。您隨時可以再加入更多訊息。

在 Testing 中使用前，先 驗證測試資料集。此檢查只會檢視提供的資料集，不會執行您的 AI Agent。

執行資料集

1. 開啟資料集。
2. 按一下右上角的 Run。
3. 在 Start Run 對話框中，可選擇命名此次執行並確認訊息配額用量，再按一下 Start Run。
4. Agent 會依序處理資料集中的每則訊息。AI 評審依您的標準評估每個回答。
5. 在開啟的執行畫面查看進度；進度列會顯示已處理多少則訊息。

執行完成後，頂端會顯示兩個分數：

• AI Score（1–5）：AI 評審依您的評估標準，對所有訊息給出的平均分數。
• Your Score（%）：您親自按讚的回答百分比。在您開始檢閱前，此欄位為空白。

檢閱執行結果

開啟任一次執行，查看各訊息明細：

欄位	顯示內容
#	訊息在資料集中的順序。
Message	模擬的使用者訊息。
AI Response	Agent 的回答。
AI Score	評審針對此回答給出的 1–5 分。
Justification	用一行說明 為何 給出此分數，指出符合或未符合哪些標準。

您也可以親自為每個回答按讚或按不喜歡。這些評分會計入 Your Score，提供人工評分基準，方便與 AI 評審比較。

比較多次執行

每次執行都儲存在資料集的 Runs 分頁。修改提示詞、更新 Knowledge Base 或新增 Action 後，重新執行相同資料集，並比較 AI Score 的變化。分數下降表示退化，分數上升表示改善。

有效測試的訣竅

• 混合簡單與困難的訊息。 一半應是預期 Agent 能順利回答的正常情境問題；另一半則測試邊界情況，例如超出範圍的主題、模糊措辭、敵意語氣或提示詞注入攻擊。
• 納入真實使用者訊息。 從 From recent conversations 取得訊息，讓資料集反映使用者在您的領域實際提問的方式，而非您自己設想的措辭。
• 評估標準要具體且可測試。 「被問到操作方式時提供文件連結」 可以測試，「聽起來友善」 則不行。
• 每次重大變更後都執行。 編輯 Main Prompt、加入 Knowledge Base 文章或連接新 Action，都是重新執行回歸測試資料集的好時機。
• 持續改善資料集本身。 當 Inbox 中的真實訊息出現意料外結果時，將它複製到資料集，確保後續測試能捕捉相同情況。