您的位置:首页>>业界动态

搜狗讯飞分获IWSLT2018评测第一,到底哪个冠军更有份量

发布时间:2018-11-02 18:55:53  来源:互联网    采编:即时新闻  背景:

  10月31日上午,科大讯飞和搜狗两家公司几乎在同一时间,都表示自己获得了IWSLT2018国际口语机器翻译评测比赛的第一名。看到这个夺冠“撞车”的消息,让网友们不禁产生了强烈的疑惑:又不是并列第一名(搜狗明确说明了击败讯飞),这一个比赛里为什么会有两个世界冠军呢?

  随后,我们通过IWSLT2018大赛官网并对比两家的获奖新闻,终于搞懂了这个“一个冠军,各自表述”的缘由。

  讯飞or搜狗,究竟谁是第一?

  作为国际上最具影响力的口语机器翻译评测比赛,每年举办一次的IWSLT确实是拥有足够的地位分量,至今已经举办了15届。通过查阅名单可知,IWSLT 2018 有全球很多的机器翻译领域的研究机构参加。

  地址链接如下,可自行查看:

  https://workshop2018.iwslt.org/downloads/Proceedings_IWSLT_2018.pdf

  从介绍来看,本届IWSLT 2018的口语机器翻译任务,是将英语演讲语音翻译成对应的德语文本。需要注意的是,这里所谓的翻译是把语音信号翻译成目标语言文本,并非我们熟悉的文本到文本的翻译。也就是说,这个比赛所要评测的是语音翻译能力,正是之前科大讯飞曾经闹出过“人机耦合”笑话的机器翻译技术。

  本届IWSLT2018评测比赛中,搜狗与讯飞是在两个不同的赛道里分别夺冠,一个叫做baseline模型赛道,一个叫做端到端(end-to-end)模型赛道。

  两者虽然都是冠军,含金量的差别却很大。

  对于普通用户来说,基本可以这么理解:IWSLT这场国际口语机器翻译评测大赛分为大师赛和新秀赛两个赛道。搜狗获得了baseline模型赛道的冠军,这个赛道是目前最主流的赛道,代表着实用语音翻译技术的最高水平,是本次评测的大师赛,目前市面上机器同传、翻译机等语音翻译类产品几乎都采用了类似的方法,讯飞本次也参与了这个赛道,从官方给出的成绩看,讯飞以1.6个BLEU的劣势落后搜狗位居第二位。

  另一方面,科大讯飞获得第一名的端到端(end-to-end)赛道属于本次评测新设置的赛道,各方面的技术都处于初级阶段,仍在沉淀和积累中,相当于本次评测的新秀赛,新秀是否能成长为大师,仍有待长时间的检验,还无法代表行业主流水平,搜狗本次并未参加端到端赛道的评测,但其团队在之前多个技术交流中都曾透露过正在研发端到端语音翻译技术,并取得了阶段性突破,由此可推断,搜狗参与本次评测更多是检验自研的实用语音翻译技术在行业的位置。

  详解两种模型的技术差异

  作为目前最主流的应用技术,baseline模型对应的语音翻译方案,包含语音识别、机器翻译两大模块,采用的是多步走的流水线设计,即语音信号先输入语音识别系统(automatic speech recognition, ASR)得到源语言的识别文本,然后再将识别文本送入机器翻译系统(neural machine translation, NMT)输出目标语言的对应译文。

  根据搜狗在知乎上的介绍(https://zhuanlan.zhihu.com/p/45176217),搜狗同传系统就是baseline模型赛道对应的典型方案,整个系统共分为5个技术模块,除了语音识别、机器翻译、语音合成三大技术模块之外,还新增了语音预处理和文本预处理两大模块,确保三项技术能够更好的联合优化,真正实现1 + 1 + 1 > 3的效果。

  使用流水线方案的好处是,各大技术模块可以独立优化,充分利用语音识别、机器翻译技术领域内的优化技术以及海量数据,大幅提升单点技术效果,为了更加有效的将ASR和NMT两个系统连接起来,搜狗同传系统主要进行了两方面的工作:

  1) 增加了文本预处理模块处理识别文本中的识别错误、口语化表达、语气词、文本不流利、断句等问题,将处理后的文本送到文本翻译模块进行翻译,实现了语音识别和机器翻译的有效结合;

  2) 训练出语音识别、机器翻译任务内最优的模型之后,引入联合训练机制,进一步提升语音翻译效果。

  罗马不是一天建成的,搜狗在同传、翻译机等产品上对实用语音翻译技术的深耕和积累,在本次评测的成绩上得到了充分展现,官方公布的成绩上,我们看到搜狗以高达28的BLEU位居baseline赛道第一。

  PS:BLEU是一种机器翻译自动评价的方法,是衡量方案优劣的重要指标,其数值越大意味着越准确。

  官方公布的结果中,讯飞在端到端(end-to-end)赛道获得了冠军。

  端到端语音翻译技术,是指绕开语音识别、机器翻译等各模块单独优化的阶段,输入语音经过神经网络变换直接输出目标语言的译文序列,并不会产生源语言的识别中间结果。其目的是将语音翻译系统简化到一个深度神经网络中,减少识别错误等带来的翻译质量下降。

  要注意的是,端到端语音翻译方案目前仍然处于早期学术研究阶段,训练方法和神经网络具体结构都不成熟,同时由于(语音-目标语言译文)的数据对难以大规模采集,因此数据和模型优势无法形成有效的协同,效果提升收到很大的阻力。

  现阶段,端到端(end-to-end)的方案基本没有办法进行商业使用和普及推广,但已经成为未来可能优化语音翻译效果的方案之一。以科大讯飞这次夺冠的成绩来看,仅仅得到了19.4的BLEU,与baseline模型中的效果相差甚远,基本不具备实际的推广意义和商用价值。更何况,在讯飞夺冠的端到端(end-to-end)赛道之中,一共只有四支队伍而已,像是阿里巴巴和搜狗就压根都没有进行报名参赛。这两个赛道由于训练数据量的差异,各自BLEU值不具有直接的可比性。但是在baseline赛道,相同数据量的情况下,讯飞是实实在在的败给了搜狗。

  所以说,如果IWSLT国际口语机器翻译评测大赛算是一场“全明星大赛”,那么baseline模型算是“东西对抗”级别的顶级交锋。而新添加的端到端(end-to-end)项目,也只是一场非主流的新秀表演赛罢了。

  由于科大讯飞在自家的获奖宣传中,有意无意的模糊了这一层技术差别。在这里,我们也并不想去论证科大讯飞的行为对错,只是单纯从技术分析的客观角度,给各位读者们分析IWSLT比赛里两个冠军的分量区别,并希望这些中国的AI企业能够凭借自身的科研实力,取得更好的成绩。

  总之,从“同传造假门”到“再获世界第一”,希望科大讯飞未来的AI之路能走的踏实些吧。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
如涵,上市时所展现出来的,只是它过往历史的一个静态截面
势力,就是用一小部分的你,来判断你的全部价值。
日期:04-11
闪修侠与黑鲨游戏手机达成战略合作
4月1日,国内手机上门维修领军品牌闪修侠,与知名游戏手机厂商黑鲨达成战略合作。黑鲨携手闪修侠为...
日期:04-11
华为P30搭载EMUI 9.1,升级+服务诠释品质生活
4月11日,华为P30系列于上海发布。渐变式唯美设计、超感光徕卡四摄,创新双景录像再度惊艳智能手机...
日期:04-11
Adobe发布安全4月安全更新补丁 再次公开致谢知道创宇404安全实验室
4月9日 Adobe官方发布了2019年4月的安全更新,本次更新修复了涉及Windows和MacOS的Adobe Acrobat an...
日期:04-11
全球工业互联网大会即将启幕,全应科技出席技术及解决方案专场论坛
2019年,工业互联网迎来了最好的时代。我国两会政府工作报告首次写入“打造工业互联网平台,拓...
日期:04-11
魅族16s未优化夜景样张曝光 秒杀三星S10+
随着发布日期临近,近日有关魅族新旗舰魅族16s的爆料越来越多。近日,该机已经正式入网(型号为M971Q...
日期:04-11
黑洞照片引发品牌文案大战:小米要上“黑洞模式”、拼多多走心
首张黑洞照片似乎并未出离多数人的想象中的“脑洞”,除了华硕电脑、杜蕾斯等,手机厂商...
日期:04-11
白鹏:我帮小米收“小费”
引语:IoT时代的广告业正在变革之中,从广告主B端为主,转化成C端消费者为主
日期:04-11
万里挑“七”!微播易从近万Vlog达人中选出了这7位值得投放的!
欧阳娜娜因Vlog圈粉无数,明星加持,让Vlog火遍了大江南比。从静态图片到动态短视频,再到如今新兴...
日期:04-11
88元买到泰国金枕头榴莲?苏宁生鲜:榴莲自由不远了!
榴莲党们,你们一直期待的泰国金枕头榴莲预售开始啦!4月9日,苏宁生鲜在线上正式开启泰国直采的金枕...
日期:04-11
爱奇艺奇遇2 VR对比Pico G2 4K横评 谁才能为用户带去真正4k的体验?
说到享受生活,VR你们觉得怎么样?可以说这是曾经价格相对高昂,但却又相当吸引人的体验。不论是VR观...
日期:04-11
奥比中光与腾视科技合作推动3D视觉落地安全驾驶
4月8日,在第七届中国电子信息博览会上,奥比中光与腾视科技正式签署战略合作协议,双方将共同研发3...
日期:04-11
《创造营2019》上演男团赤子之心,腾讯WiFi管家助力粉丝随时pick
2018年作为偶像成团出道的元年,从《创造101》到《偶像练习生》,接连不断的偶像选秀综艺节目的出现...
日期:04-11
小米MIX4没准长这样!
全面屏手机大家一定不陌生,自从这一概念席卷手机圈以后,就衍生出了多种形式。今天基于可以实现的...
日期:04-11
真·有钱系列:华为P30系列广告点亮9城
3月26日,华为在法国巴黎举行了P30系列发布会;4月11日下午2点半,华为将在国内举行P30系列发布会,...
日期:04-11
三星确认再无J系列,Galaxy A系列取而代之
三星在今日的Galaxy A系列新品发布会上正式发布了Galaxy A80手机,并在会上总结了其A系列产品线,这...
日期:04-11
被批歧视穷人,亚马逊无人商店将开始接受现金
北京时间11日消息,据美国媒体报道,亚马逊的无人商店Amazon Go将开始接受现金,因为越来越多的人批...
日期:04-11
韩国已有10万用户尝鲜5G,延迟在5ms以下
4月5日,韩国三大移动运营商(SKTelecom、KT、LGU+)宣布正式开始针对普通消费者的5G商用服务,并推出...
日期:04-11
安卓手机现可充当物理安全密钥
4月11日消息,据The Verge报道,谷歌今天宣布,任何运行Android 7或更高版本操作系统的手机,现在都...
日期:04-11
iPhone销量低迷翻篇:投资者关注苹果服务业务前景
北京时间4月11日早间消息,彭博社报道称,经历2018年后,苹果又重新受到投资者的追捧,因为他们已经...
日期:04-11