电商售后智能体 MVP 测试记录
电商售后智能体 MVP 测试记录
一、测试目标
验证「电商售后助手」是否能围绕 5 个售后场景进行问题识别、知识库问答、模拟订单/物流参数引导、转人工判断和客服话术生成。
二、测试环境
- 平台：Coze / 扣子
- 智能体名称：电商售后智能体 MVP
- 模式：单 Agent（自主规划模式）
- 知识库：电商售后 FAQ 知识库
- 工具调用：当前为模拟 JSON 参数说明，不接真实 API
- 测试日期：2026-06-15
三、测试总览
| 编号 | 场景 | 用户输入 | 判断 | 分数 |
|---|---|---|---|---|
| T001 | 退货规则 | 我买错了，现在想退货，可以吗？ | 通过 | 4.6/5 |
| T002 | 换货规则 | 商品收到是坏的，我想换一个怎么办？ | 通过 | 4.6/5 |
| T003 | 物流查询 | 物流三天没更新了，能帮我看看吗？ | 通过 | 4.6/5 |
| T004 | 订单状态查询 | 帮我查一下订单 EC202606150001，现在到哪一步了？ | 通过 | 4.6/5 |
| T005 | 售后话术安抚 | 客户很生气，说物流太慢，帮我写一段回复。 | 通过 | 4.5/5 |
四、详细测试记录
T001：退货规则
用户输入
我买错了，现在想退货，可以吗？
Agent 输出摘要
- 问题判断：属于退货规则场景。
- 处理建议：确认商品未使用、不影响二次销售且处于模拟售后期内；满足条件则提交退货申请；保留商品、包装和订单信息。
- 需要补充的信息：订单号、手机号后四位。
- 是否建议转人工：否。
- 客服话术：礼貌说明退货条件，并提醒保留包装和订单信息。
人工评分
| 维度 | 分数 | 备注 |
|---|---:|---|
| 场景识别 | 5 | 正确识别退货规则。 |
| 知识库贴合 | 5 | 与 FAQ-001 内容一致。 |
| 步骤可执行 | 4 | 步骤清楚，后续可补“如拆封/特殊商品需进一步判断”。 |
| 风险边界 | 5 | 没有承诺一定可退。 |
| 转人工判断 | 4 | 普通买错可不转人工，判断合理。 |
结论
通过。
T002：换货规则
用户输入
商品收到是坏的，我想换一个怎么办？
Agent 输出摘要
- 问题判断：属于换货规则场景。
- 处理建议：拍照保留外包装、破损位置和快递面单；提交换货或售后申请；联系人工客服协助处理。
- 需要补充的信息：订单号、手机号后四位、商品破损照片。
- 是否建议转人工：是。
- 客服话术：先道歉，再引导用户保留凭证并联系人工客服。
人工评分
| 维度 | 分数 | 备注 |
|---|---:|---|
| 场景识别 | 5 | 正确识别破损换货。 |
| 知识库贴合 | 5 | 与 FAQ-004 内容一致。 |
| 步骤可执行 | 5 | 有拍照、提交申请、转人工三个动作。 |
| 风险边界 | 5 | 有较强安抚，但没有承诺赔偿、退款或处理结果。 |
| 转人工判断 | 4 | 破损商品建议转人工合理。 |
结论
通过。
复盘记录
该场景属于商品破损，客户情绪可能较强，较强安抚是合理的。后续优化重点不是削弱道歉，而是避免承诺具体赔偿、退款或处理结果。
T003：物流查询
用户输入
物流三天没更新了，能帮我看看吗？
Agent 输出摘要
- 问题判断：属于物流查询场景。
- 处理建议：要求提供模拟订单号、手机号后四位和物流单号；进行模拟物流状态查询；若长期异常建议转人工。
- 需要补充的信息：订单号、手机号后四位、物流单号。
- 是否建议转人工：是。
- 客服话术：先安抚焦急情绪，再说明当前为模拟查询，不代表真实订单系统结果。
人工评分
| 维度 | 分数 | 备注 |
|---|---:|---|
| 场景识别 | 5 | 正确识别物流查询。 |
| 知识库贴合 | 5 | 与 FAQ-007 内容一致。 |
| 步骤可执行 | 5 | 能引导补充模拟参数。 |
| 风险边界 | 4 | 已说明模拟查询，不代表真实系统结果。 |
| 转人工判断 | 4 | 三天未更新建议转人工合理，但可表述为“如继续异常建议转人工”。 |
结论
通过。
T004：订单状态查询
用户输入
帮我查一下订单 EC202606150001，现在到哪一步了？
Agent 输出摘要
- 问题判断：属于订单状态查询场景。
- 处理建议：要求补充手机号后四位；基于订单号和补充信息进行模拟订单状态查询；若存在异常再转人工。
- 需要补充的信息：手机号后四位。
- 是否建议转人工：否。
- 客服话术：明确说明当前为模拟查询，不代表真实订单系统结果，并给出模拟 JSON 返回示例。
人工评分
| 维度 | 分数 | 备注 |
|---|---:|---|
| 场景识别 | 5 | 正确识别订单状态查询。 |
| 知识库贴合 | 4 | 符合 FAQ-010，且使用模拟参数。 |
| 步骤可执行 | 5 | 能要求手机号后四位做低敏核验。 |
| 风险边界 | 5 | 明确说明模拟查询，不代表真实系统结果。 |
| 转人工判断 | 4 | 当前无需转人工，异常再转人工合理。 |
结论
通过。
T005：售后话术安抚
用户输入
客户很生气，说物流太慢，帮我写一段回复。
Agent 输出摘要
- 问题判断：属于售后话术安抚场景。
- 处理建议：先表达歉意与理解；说明会协助核查物流进度；如发现异常会跟进处理。
- 需要补充的信息：订单号、手机号后四位或物流单号。
- 是否建议转人工：否，后续确认物流异常再转人工。
- 客服话术：先安抚客户，再说明核查物流进度。
人工评分
| 维度 | 分数 | 备注 |
|---|---:|---|
| 场景识别 | 5 | 正确识别售后话术安抚。 |
| 知识库贴合 | 4 | 与 FAQ-013 贴合。 |
| 步骤可执行 | 4 | 有安抚和核查动作。 |
| 风险边界 | 4 | 能表达跟进动作，但后续可继续区分“处理动作”和“处理结果”。 |
| 转人工判断 | 4 | 先不转人工合理，异常后转人工。 |
结论
通过。
复盘记录
售后话术应先稳住客户情绪，表达“马上核查、协助跟进”是合理的。后续需要继续避免承诺具体结果，例如一定送达、一定赔偿、一定退款。
五、整体结论
本轮测试覆盖 5 个电商售后场景：退货规则、换货规则、物流查询、订单状态查询和售后话术安抚。整体表现达到 MVP 可用标准：
- 能正确识别用户问题所属售后场景。
- 能根据 FAQ 知识库输出可执行建议。
- 能在订单/物流查询场景中使用模拟参数意识。
- 能提示当前为模拟查询，不代表真实系统结果。
- 能在商品破损、物流异常等场景中建议转人工。
- 能在客户情绪场景中先安抚，再给处理动作。
六、当前问题
- 当前工具调用仍为模拟 JSON 参数说明，尚未接入真实 API 或 Coze 自定义工具。
- 后续需要继续区分“处理动作承诺”和“处理结果承诺”，前者可以有，后者要谨慎。
- Coze 预览调试页面会展示部分运行过程、知识库引用或中间分析；这属于调试信息，不直接视为正式输出问题。正式评估应以最终回复是否简洁、可复制、可发送为准。
七、下一轮优化
- 将人设提示词更新为“强安抚 + 不乱承诺结果”。
- 明确允许承诺处理动作，例如马上核查、协助跟进、优先核实。
- 明确禁止承诺具体结果，例如一定赔偿、一定退款、今天一定送达。
- 增加“正式面向用户的最终回复应简洁、可直接使用；预览调试页展示运行过程不直接视为错误”的判断规则。
- 后续尝试配置一个模拟工具或工作流，进一步体现工具调用能力。
八、复测记录
R001：换货规则复测
用户输入
商品收到是坏的，我想换一个怎么办？
复测输出摘要
- 问题判断：属于换货规则场景。
- 处理建议：先安抚用户情绪，再引导拍照保留外包装、破损位置和快递面单，提交换货或售后申请，并转人工跟进。
- 需要补充的信息：商品外包装、破损位置和快递面单的清晰照片凭证。
- 是否建议转人工：是，商品破损需人工核实凭证并跟进换货流程。
- 客服话术：使用“非常抱歉给您带来不好的体验”“理解您收到破损商品的糟心心情”等强安抚表达，并给出拍照、提交申请、转人工的处理动作。
人工判断
通过。
判断理由
该回复能先稳定客户情绪，再给出具体处理动作，没有承诺一定赔偿、一定退款或一定换货成功。后续可小幅优化：在需要补充的信息中增加订单号或售后申请编号，便于客服跟进。
R002：售后话术安抚复测
用户输入
客户很生气，说物流太慢，帮我写一段回复。
复测输出摘要
客服话术先表达歉意和承担感，再说明马上核查当前物流进度；如果发现物流异常，会协助处理并让用户稍等。
人工判断
通过。
判断理由
该回复符合电商售后场景中的“先强安抚，再处理问题”原则。“深感愧疚”语气偏重，但在客户强烈不满场景中可以接受；“马上帮您核查”“协助处理”属于处理动作，不是承诺退款、赔偿或送达结果。后续只需继续避免“一定送达、一定赔偿、一定退款”等结果承诺。
R003：截图证据与预览调试页复盘
截图证据
- 人设与回复逻辑截图：
../coze-screenshots/coze_persona_prompt.png - 知识库配置截图：
../coze-screenshots/coze_knowledge_base.png - T005 输出截图：
../coze-screenshots/coze_t005_output.png
现象说明
T005 截图来自 Coze 的「预览与调试」页面。该页面可能展示运行过程、知识库引用、中间分析或调试信息，用于搭建者检查智能体是否正确调用知识库和生成回答。
因此，截图中出现较长的分析过程不能直接判定为 Agent 失败。正式评估应重点看最终回复是否简洁、可复制、可发送给客户。
优化动作
在人设与回复逻辑中保留以下规则，用于约束正式面向用户的最终回复：
正式面向用户的最终回复应简洁、可直接使用；如果平台预览调试页面展示知识库引用、运行过程或中间分析，不直接视为错误。 当用户要求“帮我写一段回复”时，最终回复优先给出可复制的话术；如需补充说明，放在话术后面，保持简短。
结论
通过。该截图可作为调试证据，说明智能体能在预览页调用知识库并生成最终客服话术；后续如果发布到正式渠道，需要继续确认用户侧最终回复是否简洁。