通过非参数检验方法判断电话监听的质检质量

客户世界 | 2015年7月13日 | 2010年 | 评论已关闭 | 1901

客户世界|王俊|2010-09-17

交通银行华中金融服务中心是交通银行流程银行建设的重要一环，它承担着交通银行太平洋信用卡近半数客服电话接听工作。随着上海世博会的开幕，其客服电话的接听质量也越来越重要。作为保持客服电话质量平稳的重要手段，电话监听结果被当作反映呼叫中心业务水平稳定与否的指针。从2010年开始，正式设立“关键性错误率”和“非关键性错误率”指标，并设置目标值，通过质检成绩评价业务部门和员工服务质量。通过半年的努力，信用卡业务的客服服务质量有了明显提升。

在评判过程中，通过对服务录音与评判标准的比对判断，对录音中出现的不规范之处一一记录，按照严重程度进行区分，分为“关键性”和“非关键性”错误，并以此作为评判依据。以下是“非关键错误项检出率”的定义：

由于评判过程基本是人工调听电话录音后根据评分规则对录音中存在的问题进行人为判定，因此过程中质检员对业务的熟悉程度是十分关键的因素，对业务规则把握的松紧程度将直接影响到最终评分的结果。

一、分析思路

我们知道，影响质量指标的因素通常可以归结为“人”和“规则”两个方面。一般而言，员工对新业务规则的熟悉有一个过程，新规则变化后通常会出现质量波动。新员工对业务规则的熟悉也会导致质量指标出现波动。同样的道理，质检新人（或刚从其他岗位调过来的质检人员）对于新业务规则（或质检规则）一样会有一个适应过程，在这个过程中，也会导致质量指标发生波动。

分析主要从以下两个方面进行：一方面考虑生产方的质量稳定（即从整体考虑业务质量是否呈随机波动，是否有人为影响），另一方面则考虑质检方的“检验质量”是否稳定（即质检人员在不同时期或不同质检人员间的质检结果是否有差异）。

下图是信用卡部客服2010年第2～22周质检监听数据中“非关键错误检出率”的波动情况。

说明：图中的曲线表示第2～22周的平均检出率；

从上图的变化趋势来看，在整个观测周期中，检出率的波动幅度并不大（除极个别外，基本在±2σ以内波动），整体趋势稳定。下面我们将对“非关键错误项”的检出情况进行深入分析，对质检过程中可能存在的影响指标波动的因素进行探讨。

二、分析过程

从有记录的数据来看，截止2010年6月4日，共计22个自然周，针对“双关”指标的抽检电话数共计3151通，其中检出非关键错误1667次，总检出比例3.8%（即非关键错误指标合格率为1 – 3.8% = 96.2%）。

首先，我们以第2～22周中共发生的1667次非关键错误次数为例，对这21个自然周中发生的该类错误进行随机性检验。假设检验问题为：

H0：2～22周发生的非关键错误为随机发生

H1：2～22周发生的非关键错误为非随机发生

在显著水平α=0.05下，进行随机性检验结果如下：

从上述结果可以看出，总共1011个观察数据，游程数（Number of Runs）为469，测试值（Test Value）为1，Z值为-0.222，得到的相伴概率为0.824，显然远大于α，因此不能拒绝零假设，即认为2～22周发生的非关键错误为随机发生。这也间接表明了2～22周发生的非关键错误未发生比较明显的“聚集”现象，少见人为干预的结果。

其次，我们对于在2～22周中进行“双关”指标检查的质检员每日的抽检情况进行汇总分析。参与质检工作的质检员（Q2、Q3、Q4、Q5、Q6、Q8、Q9、Q10、Q11、Q12、Q19、Q111），具体检查的次数分布如下：

考虑到质检规则变动也会对质检结果产生影响，因此以近3个月内（即3～5月份）的质检检出率为分析对象，因此最终数据取值将来源于Q2、Q8、Q6和Q9质检员。由于无法对检验过程进行量化描述，因此采用非参数检验方法（多配对样本的Kendall协同系数检验）对非关键错误项检出率进行检查。

数据说明：

1——由于实际过程中出现了质检员更替，会导致在同一个比较周期内各质检员的检查总量不一致，并且质检人员从介入质检到检查技能数量有一个逐步熟悉的过程，因此分别取各质检员的后14次质检结果进行比对分析；

2——根据质检员以往每日工作量情况，在取值时忽略了当日抽查通数在5通以下的相关数据；
假设检验问题为：

H0：各质检员的检验结果无显著差异

H1：各质检员的检验结果有显著差异

在显著水平α=0.05下，进行配对样本非参数检验，结果如下：

协同系数W是一个[0，1]数字，它表示了各列数据之间的相关程度，W越接近1，表示各列数据之间的相关性越强，说明质检评价的标准越一致。显然W=0.217是一个比较小的数字，并且相伴概率值为0.028，小于显著水平0.05，因此应拒绝零假设，即认为各质检员的检查结果是有显著差异的。从几个质检员的平均检出率来看，Q2的质检率与其他几名质检员还是有明显差异的（这一点也在对Q6、Q8和Q9的配对检验中证明，这3名质检员的相伴概率值为0.143，大于显著水平0.05，即其检查结果是无显著差异的）。

三、结论

在上述分析中，比较了2010年第2～22周中信用卡部客服质检人员对“非关键错误”的检查情况。整体来看，错误项呈现出“随机发生”的情况，即未有明显的人为干扰，可认为该项指标运行平稳。

此外对参与质检的13名质检员的检查结果进行了比对，发现承担检验任务最多的3名质检员的质检情况与其他的质检员对“非关键错误”的检出率有明显差别。这一点也证明了人在接触业务过程中确实存在一个逐步熟悉的过程。在这个过程中，质检人员根据质检/业务规则所做的判断与实际情况会有一定偏差。

根据上述分析，我们可以认为质检新人由于对业务规则的不熟悉，会导致质检业务水平产生明显波动，从而影响对实际电话质量水平的判断。因此有必要通过开展针对质检人员的公听会、优秀录音分享等形式提升质检人员业务水平，消除因质检人员因素造成的质量波动。

本文刊登于《客户世界》2010年08月刊，作者单位为交通银行华中金融服务中心。

责编：yangyining