拒绝忽悠，智能机器人客服的关键指标

编辑：夕照寺 | 2016年12月28日 | 文库, 标杆展示 | 评论已关闭 | 4676

“人工智能”是当下一个站在风口浪尖的概念，李世石代表的围棋顶尖高手与谷歌人工智能ALPHAGO的对决成为AI发展的重要里程碑。事实上，科技巨头们近年来一直在加强人工智能领域的投入和研究，微软、IBM、百度、腾讯等公司在不同领域上发展人工智能技术，而有幸的是，我们客服行业可以称的上是人工智能切入实际应用的前沿阵地，智能机器人在客户服务中的应用已经不是什么新鲜事情。

无论是苹果的siri还是微软的小冰，大家都喜欢各种调戏；去年底的时候，交通银行有个“娇娇”，萌萌哒的视频逗乐了很多人。笑完了之后，有没人想一下，它们的回答到底智能不智能？整个对话过程是否顺畅？恐怕很多人会说，我觉得挺好啊。但作为客服生产应用的话，这样的评价可能太感性了，不可量化，我们也都希望有客观的、可以量化的指标来衡量客服机器人回答客户问题到底对不对？好不好？有数据，才能分析短板，用以提升服务。笔者基于所在团队的探索实践在此和大家作讨论。

机器人智能客服几乎占据我们在线服务量的50%以上，它的质量好坏直接关系到客户对于服务评价，笔者认为用以衡量机器人客服的关键指标几乎不太可能是某一个指标，仅有一个指标你也很难通过它来很自信地判断，我们机器人服务客户是不错的！所以，我认为应该是多维的综合性指标去看待、分析和提升，我们的指标体系有五个关键指标，分别是“问题识别率”、“拨测准确率”、“答案满意度”、“服务满足率”和“调研满意度”，下文将一一阐述其具体含义和操作方法，具体指标的定义请看下表：

一、问题识别率：行业中普遍应用的衡量指标

问题识别率是业内主流客服机器人服务提供商或企业的工作逻辑，它指的是机器人能识别出客户的问题数与所有问题数的比例。简单理解，智能机器人的后台逻辑是通过算法把客户的问题、知识标准问法和知识标准答案三者对应匹配关联，从而实现机器人的自动应答，在这个过程中，从客户的千奇百怪的问题或者问法，机器人可以分析语义并寻找到知识标准答案，就算是问题识别对了，也就是给问题识别率加了一分。

业内如“智X、小X”等知名企业都用这个指标去监控机器人从Q到A的关联能力，基本上，业内主流产品从官方宣传来看，问题识别率基本在93%左右；处于一个较高的水平。

而我们从做服务的角度来看，常常会怀疑这个数据，因为实际经验中自己去使用机器人的时候，它们好像没有那么智能啊，所以，这也从一个侧面说明了，我们需要有另外的一整套指标来衡量，而不仅仅是单一的问题识别率。

二、拨测准确率：更笨但更真实的问题识别率

拨测准确率采用的是一种实验的方法，即用一定的公司内部业务管理人员的人力，采取模拟客户问题的方法和机器人实际开展对话，记录结果的正确与否，人工判断机器人回答准确的数量占到总问题数的比例。

这个指标的好处在于，是人脑判断的对错，也是模拟客户的角度去看待对错，所以在样本量越大的情况下，我们认为这个指标越真实。以我们的实践来看，拨测准确率的数据比问题识别率要低3-4个点，即在90%左右的水平。

而这个指标也有它的缺陷，首先要耗费大量的人力去做这个事情，其次因为是业务人员去拨测的，因为非常熟悉业务的情况，所以不能完全真实的模拟客户看到答案的感知，是否准确，是否看的懂，都存在一定的偏差。

三、答案满意度：迅速提升回答效果的基础

客户是智能机器人的最终使用者，所以只有真实的客户是否认同机器人的回答才是更真实的数据情况，普遍意义上可以有两种典型的调研方式：

1、在机器人每回答一个问题的结束都设置一个评价小尾巴，客户对逐条问题都可以选择评价，并评价是否满意这条回答。这样做的好处是，通过大量的数据积累，可快速定位评分相对低的答案，然后回炉进行优化，以此往复，不断提升；比如支付宝就是采用这种方式；

2、在整体机器人服务完成后弹出窗口进行调研，调研客户对整通机器人服务的完整感知，是否满意；这样的好处是没有那么频繁的骚扰客户，且评价具有整体性，但是对于具体的提升帮助不够明显。

客户对机器人评分结果，都是对机器人的理解能力、答案调用速度、答案客户化程度等能力的真实评价，这个指标是监控机器人能力又一重点指标，这个指标在应用上一定要注意UIUE的设计，尽量少的骚扰到客户，所以建议不是常态化的用，最好在服务启动的初期和关键点去应用。行业内一般认为在75%的水平就是合理情况，其实笔者认为应该有更高的要求。

四、服务满足率：用脚投票的真实记录

基本上，在线客服的行业的排列模式普遍是“智能机器人+在线人工服务”，机器人在前端解决大部分简单、重复的问题，在机器人回答后则开放引导人工的入口，当客户不满意机器人的答案或者有更高的要求的时候，客户可以有两种选择，第一，通过人工入口，点击进入人工服务；第二，受不了了直接退出拨打同企业的人工服务热线。

“服务满足率”这个指标就是通过客户轨迹监控，客户在进入机器人服务以后，在一定时间内没有点击进入人工在线服务，且没有拨打人工热线服务的比例是多大。这个指标清晰直观的可以看到客户用脚投票的情况，也可以辅助的反映机器人的解答客户问题能力。

使用机器人最终是为了替代人力劳动，降低人工成本，因此监控客户在机器人上完整解决问题的比例，对于智能机器人客服而言，意义很重大。在业内，基本上没有相关可以参考的行业平均值，我们的情况在85%左右。

五、调研满意度：有丰富内涵的常规方法

设计一个调研问卷，用外呼的方式，针对近期接受过机器人服务的客户开展调研，这个方法很常规，这里就不赘述。在一定样本量的基础上，这个数据应该最大概率的贴近客户的真实感知，并且通过设计问卷的细项，我们可以找到具体的客户认为机器人不满的点在哪里，同时加以提升和修正。

这个方法虽然很老土，但是很实用；行业不同，调研的内容不同，这个数据的平均参考值也不同，但一般而言，85%会是一个较为合理的衡量标准。

综上，智能机器人的技术发展日新月异，人工智能算法也在飞速的发展当中，相信在不久的将来，人工智能在客服的应用将远超想象，我们通过这五大关键指标监控，在不断的发现问题和解决问题，笔者期待下一次有机会和大家分享我们发现的问题和解决方案，也期待有更多的同行一起研究，如何更充分地运营好这个新武器，也要更充分的监控和不断提升这个新武器的能力。

本文刊载于《客户世界》2016年5月刊；作者任亚龙，工作单位为广东移动客服中心。