基于双向编码的BERT在11项自然语言理解任务上取得了惊人的效果，而目前主流的自然语言生成任务（包括机器翻译，自动摘要等）仍然采用单向解码，即从左到右依次产生目标文本。基于此，我们实现了两大突破：（1）编码器-解码器框架：从双向编码到双向解码。（2）序列生成：从两端到中间。
讲者介绍
周龙：中科院自动化所模式识别国家重点实验室在读博士生。研究方向为自然语言处理，机器翻译，自动文摘，自然语言生成等。在国际著名期刊和会议TACL、ACL、IJCAI等发表论文数篇，曾获国际自然语言处理与中文计算会议NLPCC 2017最佳论文奖。
报告题目：同步双向文本生成 （Synchronous Bidirectional Text Generation）
报告摘要：基于编码器-解码器框架的序列生成模型已经在神经机器翻译，自动摘要，语音识别，图像描述等文本生成任务上取得了显著的效果。现有的文本生成模型通常采用从左到右的方式依次生成输出序列。然而，这种单向解码框架不能充分利用从右向左解码方向产生的目标语言侧的未来上下文信息，因此存在不平衡输出的问题。基于此，我们提出了一种同步双向文本生成模型。该模型使用从左到右和从右到左的解码同时交互地预测其输出，以便同时利用历史和未来的信息。同步双向神经机器翻译模型在汉语到英语和英语到德语翻译任务上获得了当前最好的性能。此外，我们最近进一步实现了一个计算机不太容易实现人类肯定无法完成的事情：同时正向生成和反向生成，到中间点结束！该算法应用于机器翻译和自动摘要，不仅显著提升了文本生成的效率，还改善了生成文本的质量。
Spotlight：
- 提出了一种新颖的同步双向文本生成方法；
- 实现了一个奇妙的事情：同时顺着说和倒着说一句话，到中间点结束；
- 算法在机器翻译，自动摘要等序列产生任务上取得了显著的效果。
论文推荐
Attention Is All You Need
推荐理由: 继循环神经网络，卷积神经网络之后，谷歌在2017年提出的基于自注意力机制的Transformer模型成为了当前机器翻译领域的主流架构。该模型可以高度并行地工作，所以在提升翻译性能的同时训练速度也特别快，同时也在自然语言处理的其他领域取得了非凡的效果。
BERT- Pre-training of Deep Bidirectional Transformers for Language Understanding
推荐理由: 最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得STOA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这个双向的Transformer模型在不同的任务均得到了目前为止最好的结果。
Asynchronous Bidirectional Decoding for Neural Machine Translation
推荐理由: 和推敲网络（Deliberation Networks）的架构类似，本文也采用了二遍解码的思想。不同的是，本文在传统的编码器-解码器框架上，添加了一个反向的解码器，负责第一遍解码时从右向左的生成目标语言。该方法可以较有效地利用神经机器翻译双向解码的优势。
Non-Autoregressive Neural Machine Translation
推荐理由: 以往的NMT模型都是采用的自回归（autoregressive）的方式进行推理预测，也即模型每次基于之前生成的词去生成序列中的下一个词。但其解码速度严重依赖于目标语言长度，无法进行并行计算。这篇论文提出一种非自回归（non-autoregressive）的方式来生成翻译结果，在翻译时能够并行地输出整个句子结果。
参考资料
https://www.bilibili.com/video/BV1Vx411f7xE/
https://bbs.sffai.com/d/92