人工智能训练师能力差异探究 —基于不同的智能服务产品

编辑：夕照寺 | 2019年5月14日 | 2019年, 客世原创 | 评论已关闭 | 2455

近年来，随着人工智能技术兴起，众多智能服务产品应运而生，基于不同的应用场景，通常可以分为在线客服机器人、外呼机器人、催收机器人、闲聊对话机器人等，领域覆盖到电商、金融、保险、汽车、旅游等行业。虽然行业有差异，但是从处理的数据类型看，机器人可以统一分为文本机器人、语音机器人和图像机器人。智能服务产品的数据类型不同，所需要的训练不同，那么对它们背后人工智能训练师（AI Trainer）的能力要求肯定也不尽相同，本文重点就文本机器人和语音机器人，试通过对比两者的差异，探讨它们对人工智能训练师的能力要求。

1. 文本机器人的特点

交互的形式主要以文本对话为主，在一个智能问答的界面上，用户通过手动输入问题，机器人通过算法模型的匹配，预测用户问所属的问题范围，然后选择信心分值最高的标准问题，最后输出标准问题的答案，像这样的一个完整的问答对，机器人的反应时长往往在1s之内即可完成。

2. 文本机器人训练师需要具备的能力

文本机器人训练师需要具备什么能力呢？朱明德在《深度分析AI新职位——人工智能训练师》中提到，一个合格的人工智能训练师，需要具备以下的能力模块。

正如图中所示，对于人工智能训练师而言，最重要的能力为行业背景、分析能力和数据能力，集合实际的工作经验，笔者认为创新能力也是不可或缺的，那么人工智能训练师的核心能力构建即包括了四个方面的能力：熟悉行业知识和对业务内容，掌握数据处理分析能力，产品和相关技术认知能力，具备创新能力能够基于当前的运营现状，提出运营解决方案。

2.1 熟悉行业知识和业务内容

熟悉行业知识也业务内容，不论是在搭建机器人初期还是在机器人上线后的维护期，都是十分重要的。智能客服作为一个人工智能驱动下衍生的产品，很多企业都是从零开始搭建智能客服机器人。那么怎样才能搭建出一个覆盖范围全面框架逻辑清晰且业务重点突出的知识库呢？这个重要的角色必然要由熟悉业务的行业人员来做才能事半功倍。

比如，某银行想要搭建一个客服机器人，所涉及到的业务范围不仅广泛且十分专业，如信用卡业务，借记卡业务，信用卡业务又可以下分购卡、退卡、换卡、补卡等多个子业务，除了业务复杂难梳理之外，我们还希望知识库能够重点解决用户的高频问题，如果这样重要的任务由非行业人员来执行，恐怕业务中那些大量的专有名词就已经令其难以应对了。

2.2 掌握数据处理分析能力

上文我们提到，需要由行业专家来承担搭建机器人知识库的工作，那么对于一个没有机器人经验的企业来说，数据的沉淀形式基本是以客服日志为主，并不具备成型的标准问题和答案集合的（又称FAQ）。这就要求人工智能训练师掌握良好的数据处理和分析能力，对原始的客服日志进行清洗，梳理归纳设计成FAQ，并通过标注/人工扩写为模型训练提供语料，最后还要输出模型评测方案。

我们简单地数据处理流程，分成以下七个步骤。

a. 数据清洗

原始数据中往往存在大量的无效数据，训练师快速建立清洗规则，剔除掉无效数据，保留有效数据。常见要被清洗的数据类型有：脏话、敏感词、表情符号、无效字符串等等。

b．梳理和归纳

数据清洗完成的下一个任务，就是对海量的客服日志进行梳理和归纳，这个步骤适用于业务范围过于宽泛，无法形成提供系统的业务框架的情况。目前该环节可以人工操作，但是人工操作往往比较费时，技术条件较好的公司往往使用聚类技术（clustering）对这些原始文本先进行初始聚类，聚类的原理一般通过文本相似度进行，即把词语转换成空间中的向量，而句子向量则是在词向量基础上加权产生，向量之间的距离越近，说明文本相似度越高，这样相似的文本聚集在一起后，更方便继续下一步的梳理。需要特别说明的是，对于已有业务框架的企业，可以直接使用行业专家梳理出来的业务框架，然后直接进入步骤c即可。

c.确定标注规范，完成标注质检

FAQ梳理完成后，我们需要对FAQ进行标注，即把用户日志（log）标注到对应的标注问题（Q）范畴里。当前智能客服市场这类标注工作通常由专门的标注团队承接，而训练师的角色则是需要提前确定好标注规范，发布标注任务，最后对标注数据进行质检，保证质量。

根据中国电子工业标准化技术协会最新发布的《面向机器学习的数据标注规程》，常见的文本类数据标注类型有标签id、文件路径、原始文本、置信度、标签中的对象等，常见的文本类数据质检方法可以分为分层抽样、系统抽样、随机抽样等。

d. 模型训练

数据标注质检完成，即形成了第一批训练集（train set）, 训练集是模型学习的重要材料，因此一套好的训练集必须满足问法全面和边界分明两大基本条件，这个过程的质量把控，也是由人工智能训练师来负责。当我们将FAQ和训练集导入后，即可完成模型的初步训练了。

e. 模型评测

评估一个模型的好坏，人工智能训练师需要准备测试集（test set）来评估，一般设计一套好的测试集的原则是：贴近用户问法，符合业务范围，避免出现意图不明的模糊问。如果是错误使用业务范围超出或者是意图不明测试log，则会导致模型的准确率偏低，影响下一步的模型调优。

f. 模型调优

测试集的准确率值是对模型效果的重要参考指标之一，当准确率低于80%时，人工智能训练师即需要针对测试结果进行数据的判断。在这个模型诊断中至关重要的是判断过拟合、欠拟合，一般建议的操作办法是通过增加训练的数据量、降低模型复杂度来降低过拟合的风险，同时也要提高特征的数量和质量、增加模型复杂来防止欠拟合。

g.机器人上线

当模型的准确率修复到90%以上，机器人才能具备上线的资格。

h.上线后的运营维护

再好的模型，如果没有良好的数据运维，都终会变成低效的模型。所以当一个产品上线后，人工智能训练师仍然需要密切关注机器人的后台数据，在上线运维过程中，一般重点关注两大指标——拦截率和转人工率。拦截率指的是机器人的回答数/用户提问总数，转人工率是转人工次数/用户提问总数。当拦截率变低或转人工率变高，AI Trainer则需要从对话日志中分析问题触发的原因，及时调整知识库的内容。此外，热点问题也是训练师不容忽视的重要方面。

如果说行业知识和数据处理分析能力是人工智能训练师的基本能力，那么对产品和技术的是否了解，是否具备创新能力且提出运营解决方案就应该属于人工智能训练师的进阶能力，笔者认为，这也应该成为衡量人工智能训练师是初级还是高级水平的重要分界线。

2.3 熟悉产品和技术，全面了解生产环境

对产品和技术的了解，决定了人工智能训练师运营能力的边界。如果人工智能训练师始终局限在标注和数据运营的几大指标上，那么渐渐就有可能陷入瓶颈，因为有的问题，一味地优化数据知识库，并非是最佳的解法。以物流智能客服为例，当发现节假日频发“我的快递到哪儿了”“我的快递什么时候到？”，初级的人工智能训练师往往会采用优化训练集的办法，提高应答的准确率；而高级者则是全面了解到了生产环境，知悉在智能客服界面可以设计热点问题，用户进入界面开始即可点选问题，甚至不需要触发机器人即可完成正确应答，不仅方便准确快捷，提高了用户满意度，还能够缓解高流量对服务器造成的压力。

2.4 具备创新能力，提出运营解决方案

具备创新能力，提出运营解决方案，是人工智能训练师晋级的重要指标。举一个简单的例子，训练师小A发现机器人含有地名一类数据影响判断错误，极大地影响了准确率，但是地名作为开放域的词语范畴，根本无法在训练集中穷举。换言之，通过语料手段提高准确率对于此类问题已经触达天花板。那么怎么让机器人可以自动识别到用户问中随机出现的地名？小A想起来NLP（Natural Language Processing）中的概念NER（Named Entity Recognition），经过和技术同事沟通，他们引入了NER地名词典，通过在FAQ的模型中加入NER地名词典的调取规则，顺利解决了上述难题。因此，培养良好创新能力，不仅要对数据敏感，善于发现问题，总结问题，还要不断学习，这样才能从新的视角发现问题，进而提出有效的运营解决方案。

以上是基于文本机器人我们认为成为一名优秀的人工智能训练师所必须具备的能力，那么语音机器人和文本机器人对话流程有哪些差异？它对人工智能训练师又有哪些特殊要求？

3. 语音机器人的特点

语音机器人和文本机器人最大的特点在于交互形式为语音，即输入的数据形式和输出的数据形式均是语音，并且语音的交互质量直接影响到客户的体验满意度。语音机器人的工作原理可以表示如下：

4. 语音机器人训练师的能力要求

不难看出，上图中步骤2和步骤6是语音机器人区别于文本机器人最大之处，差别化的数据特点要求语音机器人的智能训练师不仅需要具备文本数据中所涉及的各项能力外，还需要具备语音方面的相关知识，具体表现为：

4.1 语音相关技术的了解

作为语音机器人训练师，首先必须清晰了解ASR技术和TTS技术的相关概念，前者是用于语音转文字场景，后者则应用于将文本转成语音的技术。只有厘清了这些概念，才能更好地进行数据分析。

4.2 语音数据的处理分析能力

语音机器人的训练师，需要处理的数据往往是转录后的文本数据，文本数据的来源一般有两种，一种是标注团队人工听录转写，另一种是ASR模型自动识别，再由人工核验校对。但不管是哪一种类型，训练师都需要确定相关的语音标注规范。一般常见的语音标注标签有：停顿、情绪标签、语音时长、专有名词、表外词、语者等等。另外真实的语音文本常常还带有各地方言，不同年龄段的语者语音面貌也存在较大的个体差异，这些语音的特异性都会给标注工作造成困难，因此确定良好的标注规范，并保证标注质量，对训练师来说颇具挑战。

4.3 语音相关的数据解决方案

语音的交互形式在一定程度上，会让用户提高对机器人的期待，这对机器人的人性化就提出了更高的要求，如果说文本机器人更多关注准确率的话，那么语音机器人不仅要重视准确率，还要注重拟人化，即机器需要能听懂人，并且说得像人。鉴于这样的目标，训练师可以常见的优化方向可以有两个方面：一方面，从ASR的识别上，训练师需要分析识别错误的高频问题，查找识别错误的规律，并及时反馈给工程组/技术组，完善ASR模型，而不是一味的转写文本数据，增加标注数量。另一方面，从TTS的人性化体验上，训练师也需要及时关注客户的满意度指标，当指标下降时，要学会主动分析问题，、通过优化话术设计或者MOS测评表的办法优化TTS，提高用户的满意度。

本文重点分析了文本机器人训练师需要具备的能力，并在此基础上，引入语音机器人训练师所需要具备的差异化能力。总体来说，我们认为语音机器人训练师需要在具备在文本训练师的能力上，更多理解语音技术，知悉语音数据的特性，了解语音模型work原理，这样才能提出优质的语音数据解决方案。

本文刊载于《客户世界》2019年4月刊；作者千寻，工作单位为竹间智能科技有限公司。