在机器翻译领域深耕了近十年的网易有道,再次给人们带来了惊喜。
近日,网易有道在GMIC(全球移动互联网大会)未来创新峰会上公布:由网易公司自主研发的神经网络翻译( Neural Machine Translation,以下简称NMT)技术正式上线。作为受到丁磊亲自“过问”、网易最重要技术创新之一,此次在有道上线的NMT技术,由网易有道与网易杭州研究院历时两年合力研发,将服务于有道词典、有道翻译官、有道翻译网页版、有道e读等产品;这不但意味着借力于NMT技术,有道产品在语言翻译质量方面将有巨大的提升——超过7亿用户将享受到NMT带来的高效与便利,更意味着低调务实的网易,早已在人工智能的领域未雨绸缪,并早于业界实现人工智能技术在更广泛网民中的深度使用。
人工智能改变翻译让翻译更“聪明”
深度学习是推动当前人工智能热潮最关键的技术,它首先在图像、音频等感知领域获得了巨大成功,目前在语言方面的应用也获得了长足的进展。
而神经网络翻译就是深度学习在机器翻译领域的具体应用。
作为目前机器翻译领域最前沿的技术,神经网络翻译采用独到的神经网络结构,能够对翻译的全过程整体建模;与统计翻译模型(SMT)相比,神经网络翻译模型更像一个有机体。
NMT对整个句子进行编码,能够更充分地利用上下文信息,判定多义词的词义,生成更高质量的译文。最直观的一点就是,NMT译文的句子结构完整,语序更接近人类语言使用习惯,翻译结果更加通顺;而SMT则像由多个组件构成的机器,每个组件完成各自的目标,但“拼接”出来的翻译结果,常常不尽人意。
NMT翻译原理
如果从具体的例子来看,此次在有道上线的NMT的翻译结果更准确,断句和语法比起传统机器翻译(SMT)有了直观可感知的提升,更接近人们心中“会说话”的人工智能。
NMT与SMT 英译中结果对比
据悉,与传统的基于短语的统计翻译模型相比,此次在有道上线的NMT翻译质量的提升是SMT过去十年累计提升的总和。
新闻和口语翻译出色质量可媲美英语八级
从翻译界通用的BLEU值评价指标来看,此次在有道上线的NMT在新闻文章、英语学习及口语等场景下的英文翻译,做得比同类国际产品更加出色。而丁磊也曾在内部表示,新闻和口语是中国人接触英语最常见的两个领域,应在这两方面加大研究。
事实上,词典本就是有道的传统优势,其词条数据庞大、解释准确,已经成为国内用户学习英语的首选。凭借这一优势,再加上有针对性的优化,此次在有道上线的NMT对英语学习场景下的翻译结果更加精准。这类翻译需求的特点是,原文规整、语法及句式较为规范,因此用户对其准确性要求更高。在该类数据上的盲测结果显示,此次在有道上线的NMT,其英译中和中译英的BLEU值均领先同行7个多百分点。
英译中对比
新闻文章翻译是另外一个常见的需求,它的特点是,长句较多、句子结构复杂且有大量人名地名。在这类数据上,此次在有道上线的NMT同样表现不俗,英译中BLEU值超同行6个百分点,而中译英也超其8个百分点。
中译英对比
而从以上的例子可以看出,有道上线的神经网络翻译的结果十分通顺和准确,几乎没有任何语法错误。这样的结果,即使是普通人中等英文水平都很难达到,而据翻译专业人士表示,要达到这样翻译水平,至少英语水平在专业八级。
集网易公司之力攻坚技术难题
此次在有道上线的NMT,其翻译质量的大幅提升,源于有道及网易杭州研究院的通力合作。
作为国内最早开发统计机器翻译(SMT)的公司,有道早在两年前也开始涉足神经网络翻译领域的探索,并为此投入了巨大的研发力量。为了加快项目进度,网易杭州研究院于一年前也参与进来。
网易有道首席科学家段亦涛表示,“有道在用户翻译场景上近十年的积累,使得我们拥有丰富的数据资源,同时我们研究深度学习和机器翻译技术多年,攻克了数据处理、大规模框架、模型优化、领域适配等技术难题,并开发出一些我们特有的技术,比如领域适配技术,使我们的模型能够自动适应不同的场景,目前有道的NMT已经在新闻、学习、口语和一些科技领域等场景下做到了最优。”
网易杭州研究院感知与智能中心总经理李晓燕则表示,“此次在有道中上线NMT 技术,可以说是机器翻译领域的标杆,作为拥有十余年技术沉淀的互联网实力研发团队,杭研院从深度学习理论出发,解决了大规模框架、模型优化等技术难题,高效完成了翻译场景对接和NMT技术应用工程化。”
机器翻译的未来 让语言不再是障碍
此次在有道上线的NMT把人工智能接入机器翻译,并结合自身优势以及对技术的优化从而大幅提升翻译质量,对有道乃至整个翻译行业来说,都是一次重要突破。
过去由于技术的限制,机器翻译仅能翻译一些简单词组,对复杂内容翻译效果并不佳。而神经网络翻译技术的发展,给翻译质量带来了极大提升,高质量的机器翻译将更广泛更便捷地被人们使用,那么语言对于人类来说,还将是一个障碍么?
段亦涛坦言,神经网络翻译在全球范围内都属于前沿技术,虽然业内已有一定成果,但可挖掘的空间还很大。目前我们的技术突破,的确让业内感到振奋,但机器翻译作为人工智能领域的核心难题之一,未来还有很多的努力要做。
李晓燕也谈到,今天我们在有道产品中上线的NMT,只是人工智能在机器翻译领域探索的起点。得益于有道在翻译数据的强大积累,我们的NMT技术将快速迭代更新,未来将不断带来更优质的翻译体验。
据悉,此次推出的NMT技术未来两周将陆续在有道词典、有道翻译官、有道翻译网页版、有道e读等产品中正式应用。
有道翻译官拍照翻译中应用