多维语音信息识别技术在智能语音客服机器人系统中的应用

编辑, 张永红 | 2020年6月23日 | 会员信息, 会员服务 | 评论已关闭 | 1873

当前，随着智能语音客服机器人产业的迅速发展，尤其是在2017年的AI风潮后，相关机构称在2020年我国智能语音客服市场将达到万亿级别。

智能语音客服的应用场景十分广泛，所采集到的语音信息本质上是混合信号，主要包括三大方面的信息：语音中包括的内容信息（语言/ASR后文本信息），语音中含有与说话人特征相关的信息（如性别、年龄以及情感状态等）和语音混杂在一起的背景环境声音信息，但是目前业内绝大多数智能语音客服机器人一般均不能同时识别出说话人所讲的内容、其身份、年龄、性别、情感状态甚至背景声等多维信息。

难点

由于环境噪声、信道噪声等噪声问题，口语对话语音的形式多样性，例如方言，口语助词、迟疑、重复与停顿造成的语音不流畅，多个说话人重叠，以及句子边界定义模糊等，导致实际环境中智能语音客服机器人的表现一直不尽如人意，在收到非预期输入时也仅根据最大似然的识别结果将文本送给后续的语义理解模块处理并做出交互动作，导致语音交互流程不可控，严重影响交互体验。

如何解决语音识别、语义理解、操作执行等存在的问题？

从技术细节角度看，就希望ASR系统具有更好的语音识别性能，特别是在噪声环境下鲁棒的语音识别性能，更加迫切希望语义理解能做的更加完善，从随意的口语分析出被叫用户真正的意图。但是，现阶段针对口语对话系统，学术界、工业界都暂不能从语音识别和语义理解两方面提出实用化的解决方案。

广义的语音识别技术，包括语音内容识别（ASR）、说话人身份识别、说话人情感识别、语种识别、语音搜索、语音评分等诸多的识别任务。就目前的语音识别研究而言，现有的研究成果基本上都是单一信息或内容的识别，尽管对单维说话人信息识别的研究已经持续半个多世纪，但现有的传统单维信息识别系统仍然存在很多尚未解决的难题，远未达到社会对其商品化、实用化的要求。

传统单维识别系统存在的问题具体表现在：

1）难以解决因语音信息自身以及外界因素导致的变异问题。在不同的说话环境下，对同一名话者录制相同的录音文本，其语音信号也会有很大的不同。如实验室和马路上等两种截然不同的场景。

2）难以简单地提取与识别任务相关的、可靠的语音特征参数。虽然语音内容识别和说话人识别对识别任务要求截然不同，前者最好与说话人本身无关只与讲话的内容含义有关，后者最好与内容无关只与话者说话方式和特征有关，但迄今为止，尚未找到合适的方法将语音中的个性特征与共性特征相互分离。

3）难以完成大规模的识别任务。随着说话人人数的不断增加，语音库不断扩大，识别任务多样化，如果只是依靠一步一步单独的识别技术，将给单维识别模型带来例如重叠、整个识别系统过于复杂化、识别时间过长等一系列问题。

一方面，学术界针对语音识别的研究，主要关注于单一信息或内容的识别。也就是说，目前的语音提取技术仅仅是单一的提取话者语音中的次序列信息，即仅与待识别目标有关的方面，反而忽略了更加重要而丰富的语音信息，例如性别、年龄、方言、情绪等。可见，单维语音信息的单独识别不利于理解语音的真正含义，也不利于促进语音交流对话系统的发展，更不利于提高语音识别的鲁棒性。

另一方面，传统的说话人识别系统的识别率在技术层面上已经遇到了瓶颈，与此同时，普通的语音情感识别也已取得了较为显著的研究成果。因此，再单独地分别研究这两种识别技术，很难获得巨大的突破和创新。

二、突破

目前，在人工智能化发展的大力推动下，壹鸽科技利用语音中提供中的多维信息在智能断句和ASR后文本置信度估计两方面获得了巨大的突破和创新。不像绝大多数智能语音客服系统预设固定句间停顿时间的硬断句形式，壹鸽科技已经研发出一种结合语音和语义的两模态的句间停顿时间自适应调整机制，可以让智能语音客服机器人边听边想，在听到语音后就会提前预测话者的意图，开始思考回应，可实现更快的响应速度和改口能力；并不像其他智能语音客服机器人播放一句，话者回应一句的回合制，而是根据预估思考时间、话轮意图、环境音感知，从对方说话时表达出来的多维语音信息推断出对方的意图或观点，通过和人类一样的非对称对话模式协调与人类进行全双工语音交互，减少用户感知的等待时间，及时响应话者意图。

针对ASR后文本置信度估计，壹鸽科技从文字、声学两模态的数据和信息进行深层次多维度的ASR后文本置信度估计。首先，考察语音识别引擎输出结果的统计特性，通过比较正确的语句和大量的错误训练语句，集中发现其中比较稳定和容易出错的部分，如发现一些出错较为频繁的词语或者词语串，开发了针对单独出现错误以及关键词的高效率的检错机制；然后，从声学层面、语法层面和高层语义层面充分挖掘数据中与文本置信度相关的结构性信息，将数据语义化，汇聚海量的多元、异构、多模态数据，形成数据语义网络，通过搜索语义网络映射出一个介于0和1的数字，来表示语音识别结果正确的概率，一旦出现识别错误，而系统本身却无法察觉，甚至进一步的使用这些错误信息，其效能必定会大打折扣。

因此，壹鸽科技智能语音客服机器人可像人一样能准确识别出语音中所提供的多维信息，并透过置信度评价来衡量前端识别的可靠性，对于那些可能是错误的结果，加以特别的处理，或者将之完全舍弃，让系统仅接受正确的部分，在很大程度上拓展了语音识别的应用范围。

移动互联网时代，科技正以日益强大的方式改变着人类的日常生活，人机交互的每一次革命都在全球产业链上引起狂风暴雨般的革命。因此，设计更人性化的人机交互方式成为壹鸽科技的企业宗旨。

壹鸽科技正在大力构建一种全新的多维语音信息识别系统，使得客服机器人具备同时识别说话人身份、年龄、性别、情感状态的能力，具备理解人类情感和表达的能力，准确捕捉语音的精确内涵，拟人化地与人类进行自然而富有情感的沟通，致力于打造有温情的智能语音客服机器人。壹鸽科技坚信这种具有人工智能能力的客服机器人将具有巨大的市场价值。