瑞彻斯特logo

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

2018-11-02 18:57


  10月31日上午,科大讯飞搜狗两家公司几乎在同一时间,都表示自己获得了IWSLT2018国际口语机器翻译评测比赛的第一名。看到这个夺冠“撞车”的消息,让网友们不禁产生了强烈的疑惑:又不是并列第一名(搜狗明确说明了击败讯飞),这一个比赛里为什么会有两个世界冠军呢?

  随后,我们通过IWSLT2018大赛官网并对比两家的获奖新闻,终于搞懂了这个“一个冠军,各自表述”的缘由。

  讯飞or搜狗,究竟谁是第一?

  作为国际上最具影响力的口语机器翻译评测比赛,每年举办一次的IWSLT确实是拥有足够的地位分量,至今已经举办了15届。通过查阅名单可知,IWSLT 2018 有全球很多的机器翻译领域的研究机构参加。

  地址链接如下,可自行查看:

  https://workshop2018.iwslt.org/downloads/Proceedings_IWSLT_2018.pdf

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

  从介绍来看,本届IWSLT 2018的口语机器翻译任务,是将英语演讲语音翻译成对应的德语文本。需要注意的是,这里所谓的翻译是把语音信号翻译成目标语言文本,并非我们熟悉的文本到文本的翻译。也就是说,这个比赛所要评测的是语音翻译能力,正是之前科大讯飞曾经闹出过“人机耦合”笑话的机器翻译技术。

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

  本届IWSLT2018评测比赛中,搜狗与讯飞是在两个不同的赛道里分别夺冠,一个叫做baseline模型赛道,一个叫做端到端(end-to-end)模型赛道。

  两者虽然都是冠军,含金量的差别却很大。

  对于普通用户来说,基本可以这么理解:IWSLT这场国际口语机器翻译评测大赛分为大师赛和新秀赛两个赛道。搜狗获得了baseline模型赛道的冠军,这个赛道是目前最主流的赛道,代表着实用语音翻译技术的最高水平,是本次评测的大师赛,目前市面上机器同传、翻译机等语音翻译类产品几乎都采用了类似的方法,讯飞本次也参与了这个赛道,从官方给出的成绩看,讯飞以1.6个BLEU的劣势落后搜狗位居第二位。

  另一方面,科大讯飞获得第一名的端到端(end-to-end)赛道属于本次评测新设置的赛道,各方面的技术都处于初级阶段,仍在沉淀和积累中,相当于本次评测的新秀赛,新秀是否能成长为大师,仍有待长时间的检验,还无法代表行业主流水平,搜狗本次并未参加端到端赛道的评测,但其团队在之前多个技术交流中都曾透露过正在研发端到端语音翻译技术,并取得了阶段性突破,由此可推断,搜狗参与本次评测更多是检验自研的实用语音翻译技术在行业的位置。

  详解两种模型的技术差异

  作为目前最主流的应用技术, ,baseline模型对应的语音翻译方案,包含语音识别、机器翻译两大模块,采用的是多步走的流水线设计,即语音信号先输入语音识别系统(automatic speech recognition, ASR)得到源语言的识别文本,然后再将识别文本送入机器翻译系统(neural machine translation, NMT)输出目标语言的对应译文。

  根据搜狗在知乎上的介绍(https://zhuanlan.zhihu.com/p/45176217),搜狗同传系统就是baseline模型赛道对应的典型方案,整个系统共分为5个技术模块,除了语音识别、机器翻译、语音合成三大技术模块之外,还新增了语音预处理和文本预处理两大模块,确保三项技术能够更好的联合优化,真正实现1 + 1 + 1 > 3的效果。

  使用流水线方案的好处是,各大技术模块可以独立优化,充分利用语音识别、机器翻译技术领域内的优化技术以及海量数据,大幅提升单点技术效果,为了更加有效的将ASR和NMT两个系统连接起来,搜狗同传系统主要进行了两方面的工作:

  1) 增加了文本预处理模块处理识别文本中的识别错误、口语化表达、语气词、文本不流利、断句等问题,将处理后的文本送到文本翻译模块进行翻译,实现了语音识别和机器翻译的有效结合;

  2) 训练出语音识别、机器翻译任务内最优的模型之后,引入联合训练机制,进一步提升语音翻译效果。

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

  罗马不是一天建成的,搜狗在同传、翻译机等产品上对实用语音翻译技术的深耕和积累,在本次评测的成绩上得到了充分展现,官方公布的成绩上,我们看到搜狗以高达28的BLEU位居baseline赛道第一。

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

  PS:BLEU是一种机器翻译自动评价的方法,是衡量方案优劣的重要指标,其数值越大意味着越准确。

  官方公布的结果中,讯飞在端到端(end-to-end)赛道获得了冠军。

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!

合作流程

网站制作流程从提出需求到网站制作报价,再到网页制作,每一步都是规范和专业的。

常见问题

提供什么是网站定制?你们的报价如何?等网站建设常见问题。

售后保障

网站制作不难,难的是一如既往的热情服务及技术支持。我们知道:做网站就是做服务,就是做售后。