非自回归神经机器翻译是一种新兴的翻译技术。传统的自回归机器翻译模型是逐词产生译文的，每一步的译文单词的生成都依赖于之前的翻译结果，而非自回归模型对每个译文单词的生成独立建模，因此能同时生成整句译文，大幅提升翻译速度。
讲者介绍
邵晨泽：2018年获中国科学院大学学士学位，专业计算机科学与技术。现保送至中国科学院计算技术研究所智能信息处理重点实验室，研究方向为自然语言处理、机器翻译等。已在自然语言处理顶级会议EMNLP2018、ACL2019上以一作身份发表论文。
报告题目：Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation
报告摘要：近些年来，神经机器翻译在翻译效果方面取得了很大的进展。然而，主流的神经机器翻译模型均采用自回归的解码机制、逐词生成翻译结果，因此翻译的延迟较高，应用场景受限。非自回归机器翻译模型采用非自回归的机制对每个词的翻译概率独立建模，能够并行解码出整个译文，将翻译速度提升十倍左右。本次报告将带大家回顾过去一年多里非自回归机器翻译的相关工作，并分享我们在ACL2019上的工作：针对非自回归模型序列信息缺失问题，设计强化学习算法进行序列级训练，或将非自回归模型融入到自回归结构中。
Spotlight：
- 非自回归机器翻译；
- 序列信息缺失；
- 强化学习。
论文推荐
NON-AUTOREGRESSIVE NEURAL MACHINE TRANSLATION
推荐理由：这篇文章发表于ICLR2018，基于Transformer模型的并行特性，首次提出了非自回归的机器翻译模型，将模型的解码速度提升了十几倍。该文章给出了基于Transformer的非自回归模型的基本结构和基于uniform copying、fertilities的两种解码器输入方式，并用知识蒸馏的技巧降低了模型的学习难度。
Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement
推荐理由：这篇文章发表于EMNLP2018，提出了基于迭代优化方法的非自回归机器翻译模型。该文章将非自回归模型的解码器看作一个迭代式的优化器，通过将解码器输出的译文输回到解码器的输入端，来增强解码器的输入信息并实现译文的迭代优化。该文章开源了所有的代码、数据、模型，易于研究者进行复现和进一步的开发。
Semi-Autoregressive Neural Machine Translation
推荐理由：这篇文章发表于EMNLP2018，提出了半自回归的神经机器翻译模型。该文章对自回归和非自回归的机制进行了折衷，提出了以组为单位的半自回归生成机制，每次解码出数量为K的一组词，并将该组词作为生成下一组词时的输入。该方法达到了接近自回归模型的翻译效果，并在翻译速度上做出了可观提升。
Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input
推荐理由：这篇文章发表于AAAI2019，针对非自回归模型中解码器输入较弱的问题，提出了两种增强解码器输入的方法：(1)从SMT模型的短语表中快速生成译文，将译文的词嵌入作为解码器的输入。(2)通过一个线性映射，将源端句子的词嵌入映射到目标端来作为解码器的输入。
SEQUENCE LEVEL TRAINING WITH RECURRENT NEURAL NETWORKS
推荐理由：这篇文章发表于ICLR2016，指出了自回归模型中存在的训练与测试不一致的问题（exposure bias），并指出问题的根源在于词级别的损失函数。文章提出了基于强化学习的序列级训练方法，在预训练模型的基础上，以评价指标BLEU来训练自回归模型并消除exposure bias。
参考资料
https://www.bilibili.com/video/BV1z4411u7jm/
https://bbs.sffai.com/d/80