谷歌神经翻译又有新进展 基于单一模型无须训练业界

/ 网易科技 / 2016-11-17 10:43
大家都知道,欧盟拥有24种官方语言,理想情况下,欧盟的翻译官们应该能够随时从一种语言直译到另一种语言,但这种翻译组合实在是太多了,高达576种,所以他们选择英语当做...

(原标题:谷歌神经翻译又有新进展,基于单一模型无须训练)

大家都知道,欧盟拥有24种官方语言,理想情况下,欧盟的翻译官们应该能够随时从一种语言直译到另一种语言,但这种翻译组合实在是太多了,高达576种,所以他们选择英语当做中间语言来解决这一问题。

同样地,我们的谷歌工程师们也面临着同样的问题,但谷歌面临的麻烦要更大一点,因为他们需要翻译的语言种类要比欧盟的官方语言多,达到100多种,(例如:英语翻法语是一种组合,而法语翻英语又是另一种组合),而这些翻译组合会高达上万种。

undefined

如果为每一种组合训练一种神经翻译模型的话,那么就需要训练上万个。真的是好多啊!但是现在不要了,我们只需要一个模型就可以解决这些问题。近日,来自谷歌的工程师门发表了一篇论文,上面提到如何只用一个模型实现多语言之间的翻译。这个模型被称为NMT模型。 NMT模型的训练不需要任何语言学知识,且具有模型简单、翻译质量高等优点。它基于原有的单一语言翻译模型,但不需要对原有翻译模型进行任何修改,便可实现多语言之间的翻译。

论文显示这种新方法有三个优点:

一、简单,即减少需要训练的模型数;

二、改善翻译质量。尤其是那些训练语料不足的语言;

三、具有‘zero shot’翻译能力,即如果我们训练一个模型可以将葡萄牙语翻译成英语,然后在训练一下让其可以实现英语到西班牙语之间的翻译,此时神奇的一幕出现了,我们虽然并没有进行葡萄牙语到西班牙语之间的翻译,但是此时模型仍然可以实现葡萄牙语到西班牙语之间的正确翻译。

谷歌宣称这是世界首次研发出zero-shot翻译。很明显,zero-shot 还具有明显的速度优势,它可以使解码时间减半。 其另一个优势就是可以实现句间转换。如果一个句子中包含不止一种语言,它照样可以翻译。这样如果一个大的数据集中如果包含多种语言,那么它照样可以实现翻译。论文的最后,谷歌翻译人员用BLEU方法对翻译结果进行评判,发现结果改善不少。

实际上,神经机器翻译还有很长的路要走。谷歌貌似已经将NMT 推广到了其它语言翻译上,例如英语到德语的翻译。在我们对谷歌翻译进行的随机测试中,我们发现其翻译流畅度有所提升,但仍有一些漏翻或误翻。

论文简介:《Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation》

我们用一个简单而优雅的多语言神经机器翻译模型解决了多种语言之间的翻译问题,这个模型与原有模型对比并没有任何改变,只是在输入句子时引入了一个变量,以标明需要翻译的目标语言是什么。后面的编码、解码、注意力模型在所有语言中都一样,词表也共享,参数无需要增加。

与我们起初的设计相比,实现了极大的简化。在保持参数值不变的情况下,翻译质量居然还有所提升。在WMT'14 测试中,我们的模型在英法翻译中不比任何模型差,在英德翻译中比任何模型好,在多语言测试中,我们的模型在 14 年法英、15 年德英翻译中效果最优。我们的模型不仅可以对 12 种语言对(例如英法、法英,这是两个语言对)进行翻译,而且其翻译效果也比大多数单语言对的翻译模型还要好。除此之外、对于没有训练过的语言对,我们的模型仍然可以学习,这就表明神经网络是可以实现迁移学习与‘zero-shot’翻译的,在文章最后我们将向大家介绍一些在混合翻译中发生的一些趣事。

【来源:网易科技



1. 遵循行业规范,任何转载的稿件都会明确标注作者和来源;2. 的原创文章,请转载时务必注明文章作者和"来源: ",不尊重原创的行为 或将追究责任;3.作者投稿可能会经 编辑修改或补充。


阅读延展



最新快报

1
3
Baidu
map