2022首届人工智能训练师“未来之星”大赛：复赛说明

编辑郑洁 | 2022年6月15日 | 文库 | 评论已关闭 | 1227

主办单位

客户世界机构

协办单位

CC-CMM国际标准组织
中国信息协会数字经济专业委员会
中国呼叫中心与电子商务发展研究院
全球客户中心产业联盟ContactCenterWorld
CCO100首席客户官百人会

本活动是2022“未来之星”中国客户中心职业技能大赛的专项赛事之一。

首先代表大赛组委会表示对各位成功晋级复赛的参赛队伍表示恭喜。以下为复赛环节竞赛说明书。

标注环节（复赛）说明

本轮竞赛为标注实操与管理竞赛；竞赛周期为：2022年6月20号至7月20号；

1、赛前培训：6月20号至7月8号之间为标注实操平台使用培训（其中6月21日下午14点~15点（语音平台指导）；6月23日下午14点~15点（文本平台指导））；培训内容包括不限于：标注平台使用、标注注意事项、开通标注账号、微信群不定时标注平台使用答疑等；标注平台熟悉、标注任务试标注；

2、确认选择标注任务：7月1号至7月8号期间各小组领队向组委会确认所选标注任务内容；（注：选定赛题，非特殊情况不可修改；超时未选标注赛题即淘汰）

3、标注竞赛：7月9号至7月17号之间各小组按选定任务进行标注；

4、竞赛成绩核算：7月17号至7月20号；

竞赛难度：人工智能训练师初级水平在正常情况下能够完成的难度；标注实操与管理能力掌握范围至少要达到行业同等水平，训练选手达到相应的能力和潜力：人工智能训练师国家职业标准L5、L4客户世界AIT初级训练师、其他同等级人工智能训练师水平。

理论环节（复赛）详情

赛前准备阶段：

竞赛组委会向晋级成功团队领队发放竞赛说明书、安排本轮竞赛队伍参加竞赛平台使用说明介绍培训、竞赛队伍注册平台账号，根据预选题目类型进行试标注，确定竞赛队伍最终选择的实操任务（语音&文字）；

赛中阶段：

标注实操任务由客户世界AIT大赛组委通过微信群向参赛团队领队发放，在规定时间内由各领队自行安排本团队实操答题，最终由组委对竞赛试题进行审核和批改；

赛后阶段：

7月20日公布各参赛队伍晋级结果。

标注实操赛题说明

本轮标注实操竞赛设置依据来源于《人工智能训练师国家职业标准》中相关技能要求，并基于客户世界多年深耕客服域中的智能服务训练运营经验，且保障各参赛团队公平的前提下，本轮竞赛共设置语音标注与文本标注两种类型，各参赛团队可根据自身实际情况，选择对应的任务进行实操，题目选定以各领队上报结果为准，一旦上报后除开特殊情况不可修改，否则自动视为本轮竞赛弃权；

3.1本轮竞赛评分标准

3.2文本标注题：

本次比赛的标注任务主要为FAQ训练语料标注。FAQ数据主要来自银行、保险、政务等领域的提问。

请使用主办方分配的账号密码登录，每位参赛者一个账号，相互之间不可混用。

1、标注的要求如下：

（1）判断哪些数据可作为FAQ清单中标准问的训练语料

（2）将可作为训练语料的数据添加至对于标准问下

2、评价指标

文本标注部分主要关注标注数量和FAQ问答准确率。评价指标及计算方式如下：

标注数量

1）总标注数量

2）单个FAQ训练语料数量

注：总标注数量以问答管理-常用标准问题-数据训练显示的总语料数量为准；训练语料必须为提供的语料范围内容，不可自行扩写；

FAQ问答准确率，其计算公式为：

FAQ问答准确率=机器人出话正确数量/测试题总量

注：以问答管理-常用标准问题-测试及报告显示的准确率为准；

3、打分方案

问答准确率+标注数量进行综合评分；

3.3语音标注题：

本次比赛的标注任务主要包括语音转文本标注及性别标注两类任务。语音数据主要来自银行、保险等领域的客服录音。

请使用主办方分配的账号密码登录，每位参赛者一个账号，相互之间不可混用。

1.标注的要求如下：每条录音均需标注其文字内容及性别，其他内容（口音、噪音、插入符号等）本次比赛不涉及，无需标注。

每条语音需要标注其文字内容及性别；

（2）如果一段音频中完全没有人说话，或只有噪音，则点丢弃

（3）如果一段音频由于噪音或口音完全听不懂，则点丢弃

（4）不太清楚但是多听两遍可以听清楚的，不可以丢弃

（5）语音中有一小段听不清的，可以丢弃

（6）很明显的噪音，比如近距离的喇叭声、关门声，可以丢弃

（7）出现数字的，需要用汉字记录，而不是阿拉伯数字

（8）出现英文的，如果是按字母读，则全用大写，如IBM，如果按单词读的，则全用小写，如apple，专业词汇按照标准写，如WiFi，IPv6

（9）出现符号的，英文符号直接按符号写，如@；按中文读的按汉字写，如HTTP冒号杠杠

2.评价指标

语音标注部分主要关注文字标注性能和性别标注性能。评价指标及计算方式如下：

字错误率，其计算公式为

字错误率 = ( 插入错误数 + 删除错误数 + 替换错误数 ) / 总字数

其中，插入错误指在本不该有字的地方多标注了一个字；删除错误是指在本来应该有字的地方漏标了该字；替换错误是指标注的字错误。

性别错误率，其计算公式为：

性别错误率 = 性别标注错误数 / 总句数

3.打分方案

字错误率+性别错误率进行综合评分；

组委会联络人：

郑洁：13718770777，zhengjie@ccmw.net
左冰：13466626291，zuobing@ccmw.net
潘江玲：18510813910，panjl@ccmw.net
张永红：13581960173，zhangyh@ccmw.net
钱益：17610031679，qianyi@ccmw.net

官网：www.ccmw.net
热线：400-779-7070