为什么需要一份指标清单
AI 语音客服产品在演示环境下几乎总是令人印象深刻：安静环境、标准普通话、 提前设计好的对话脚本。但真实用户通话时，情况完全不同——背景噪音、方言口音、 打断插话、反复确认……这些场景会让一个"演示完美"的系统彻底暴露其短板。
我们在多个项目的上线评估中发现，许多团队在做出"上线"决策时， 只依赖主观感受（"我觉得挺好的"）或单一指标（"准确率 95%！"）。 结果是上线后用户投诉激增，被迫紧急回滚，造成远比延期上线更大的损失。
一个 95% 准确率的系统，如果剩余 5% 的错误都集中在"退款"这一个意图上， 它对业务的破坏力远超字面数字所呈现的。
以下 6 个指标构成了 AiWma 内部的上线前评估框架。每一个都有明确的测量方法 和业务基准线。只有全部达标，才建议正式上线。
用户在不需要转人工、不需要重复致电的情况下，仅通过 AI 语音交互完成服务诉求的比率。 这是衡量 AI 客服实际业务价值最直接的指标，也是最容易被忽视的一个—— 因为它要求你真正追踪对话的最终结果，而不仅仅是"AI 给出了一个回复"。
测量方式：在测试集中随机抽取 200 次模拟真实用户的对话， 由人工复核判断每次对话的最终诉求是否被有效解决（不含"你可以拨打人工热线" 这类甩锅式回复）。
ASR 转录文本后，系统将用户话语正确映射到预定义意图节点的比率。 这是意图树有效运转的基础——识别错了，后续所有处理都是南辕北辙。
测量方式：构建覆盖所有意图节点的测试集（每个节点至少 20 个真实用户表达变体）， 按节点分别计算准确率，重点关注高频意图节点和高风险意图节点（如"退款"、"投诉"） 的单节点准确率，不能用整体平均值掩盖局部短板。
ASR 引擎输出的转录文本与人工标注参考文本之间的字符级编辑距离比率。 WER 过高会导致意图识别严重失准，但这个指标必须在目标场景的真实音频上测量， 而不是在标准普通话测试集上——两者的 WER 差距可以达到 3 倍以上。
实测要求：录制至少 50 段真实用户通话样本（覆盖主要方言区、不同年龄段、 不同背景噪音环境），在这份样本上计算 WER。如果你的目标用户群集中在某个地区， 必须确保测试集包含该地区口音。
从用户说完最后一个字（VAD 检测到静音）到用户听到 AI 语音响应第一个音节的时间。 这是直接影响用户体验"感知流畅度"的指标。超过 800ms 的延迟会被大多数用户感知为卡顿； 超过 1500ms 会被认为"系统挂了"，导致用户反复重复或直接挂断。
延迟由四部分组成：VAD 静音检测延迟 + ASR 转录延迟 + LLM 首 Token 延迟 + TTS 首帧延迟。需要对每个环节单独测量，定位瓶颈并针对性优化， 不能只看端到端数字。
AI 语音客服将对话转接至人工坐席的比率。这是一个双向指标—— 太高说明 AI 能力不足，无法自主解决用户问题，部署价值存疑； 太低（尤其是在未进行充分测试的情况下）反而值得警惕， 可能意味着 AI 在不应该"硬撑"的复杂场景下给出了错误答复， 用户虽然没有转人工，但实际上并未被正确服务。
需同时追踪"主动转人工"（用户要求）和"系统判定转人工"（置信度低于阈值）两个子维度， 分别设置合理上限。
通话结束后即时收集的用户主观满意度评分。这是唯一一个从用户视角出发、 能捕捉到所有技术指标遗漏问题的综合评估。TTS 声线是否让人舒适、 回答是否简洁到位、对话节奏是否自然——这些都不在前五个指标的覆盖范围内， 但会直接体现在 CSAT 上。
建议在灰度测试阶段（真实用户，小比例流量）收集至少 200 份有效反馈， 不建议仅依赖内部测试人员的评分。内部测试人员对延迟、识别错误的容忍度 与真实用户存在显著差异。
汇总：上线前检查表
关于"基准"的一点补充
上述基准值来自我们在多个行业项目中的实测经验，不是绝对标准。 不同业务场景对各指标的权重大不相同：
- 医疗健康类：意图识别准确率和转人工率的容错空间极小， 任何识别失败都可能造成严重后果，建议设置更保守的阈值。
- 零售 / 电商类：FCR 和延迟是核心， 用户对快速得到答案的期待高，对轻微识别偏差的容忍度相对较高。
- 媒体 / 采访类（AiWma AIJ 产品）：CSAT 和对话自然度权重最高， 延迟可以相对宽松（采访场景语速较慢），但 WER 要求严格， 因为误识别可能导致采访内容记录失真。
最重要的建议：在确定你的上线标准之前，先花时间和你的核心用户群做 10–20 次 实际通话测试，直接观察他们在哪些节点感到挫败或困惑。数据会告诉你真正的瓶颈在哪里。
如果你需要一个现成的 AI 语音客服测试框架，AiWma 提供免费的预上线评估服务—— 我们会在你的实际业务场景中运行上述 6 项测试，给出量化报告和优化建议， 再决定是否进入正式部署阶段。