关注微信号：人工智能前沿讲习，回复“蔡恒毅”获取讲者PPT资料。
EMNLP是自然语言处理领域的顶级会议，由 ACL 学会下属特殊兴趣小组 SIGDAT组织，每年召开一次。EMNLP 如今已成为自然语言处理，特别是统计自然语言处理领域的学术盛会。2019 年的 EMNLP 联合 IJCNLP 一同召开，所以会议统称为 EMNLP-IJCNLP 2019。本期论坛我们邀请了两位EMNLP-IJCNLP 2019论文作者，来分享他们工作中的思考与创想。
讲者介绍
蔡恒毅：中国科学院计算技术研究所在读博士，主要研究方向为自然语言处理、对话系统。
报告题目：对话系统中的自适应参数化方法 (Adaptive Parameterization for Neural Dialogue Generation)
报告摘要：主流的开放域对话系统采用Sequence-to-Sequence 的范式。通常来说，给定上文，这类系统使用单组可学习的参数来产生回复。当面临场景多样的对话时，此类系统的适应性往往受限，并且易于产生通用回复（Generic responses）。本文提出了一种参数自适应的对话模型（Adaptive Neural Dialogue generation model, AdaND），使用样本自适应的参数化方法来应对场景多样的对话建模问题。对于每条对话样本，AdaND 都会根据其上文产生一组Encoder-Decoder参数。具体来说，我们提出了两种自适应参数化机制，分别是上文感知的参数化方法和话题感知的参数化方法。在上文感知的参数化方法中，模型直接从当前上文的局部语义来产生参数；在话题感知的参数化方法中，模型首先推断出该对话样本的话题分布，然后再根据此话题分布来产生参数。话题感知的参数化方法使得模型参数可以在话题相似的对话样本之间共享。在公开数据集上的若干实验也验证了所提出方法的有效性。
Spotlight：
- 提出了一种上文感知的参数化方法。相比于之前仅学习一组静态参数的方法，本文模型学习的是如何产生一组特定于当前上文的参数；
- 引入变分话题推断的方法，并提出一种话题感知的参数化方法，使得模型参数可以在话题相似的对话样本之间共享。
耿瑞莹：阿里巴巴达摩院算法工程师，主要研究方向为少样本学习和自然语言理解。
报告题目：基于归纳网络的少样本文本分类
报告摘要：深度学习方法在数据稀缺的场景下往往表现很差，在这种挑战性的场景下，近期的工作往往使用meta-learning的方法来模拟少样本学习任务，通过在样本级别把query和支撑集进行比较来完成分类。但是这种样本级别的比较往往会被同一个类中各种不同的表述方式所干扰，因此我们需要为支撑集中的每个类别学习一种泛化的表示，然后去和query进行度量。在本工作中，我们提出了一个新的归纳网络（Induction Networks）来学习这样的一般化的类别表示，通过在meta learning的过程中引入动态路由算法（dynamic routing），我们的模型对于未见过的类别有良好的适应能力。我们在一个通用的英文基准数据集和一个真实场景的中文意图分类数据集上验证我们的模型，均取得了state-of-the-art的结果，证明了在少样本学习场景下学习类级别表示的有效性。
Spotlight：
- 首次基于少量支撑集建模归纳类别特征的能力，从而缓解自然语言中样本多样性问题；
- 将dynamic routing算法与meta-learning 相结合，在unseen 类别上具有良好的适应能力，在中英文少样本分类数据集上取得state-of-the-art的结果。
论文推荐
Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders
推荐理由：这是一篇较早地将变分自编码器引入对话建模的文章。该篇工作也提出了一种缓解KL Vanishing 的方法——Training with BoW Loss，对后续的若干CVAE相关的对话建模工作有较大的影响。
What makes a good conversation How controllable attributes affect human judgments
推荐理由：该工作探讨了对话生成中的一些可控属性和人工评测之间的关系。该工作使用了两种典型的可控文本生成的方法：Conditional Training (CT) 和 Weighted Decoding (WD)，并得到了一些有趣的结果。之后作者研究了这些可控属性与人工评测的关系。在得出的若干结论中，令我印象深刻的是：What do we mean by ‘good’? Although humanness and engagingness are both commonly used as overall quality metrics, the two are very different. While our models achieved close-to-human scores on engagingness, they failed to get close on humanness showing that a chatbot need not be human-like to be enjoyable. 即一个喜人的 chatbot 不一定要足够像人。
The Curious Case of Neural Text Degeneration
推荐理由：该工作探讨了目前文本生成为什么总是不尽人意的原因，分析了human text 和 machine-generated text 分布之间的不同，并提出了新的解码策略——Nucleus Sampling，来提高生成文本的多样性。这篇工作的分析和实验都很值得一看，在文本生成领域能够带给人新的启发。
Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification
推荐理由：提出一种基于混合注意力机制的原型网络结构用于少样本关系分类。
Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks
推荐理由：研究meta-learning在低资源自然语言处理中的应用。
Combining Unsupervised Pre-training and Annotator Rationales to Improve Low-shot Text Classification
推荐理由：融合预训练语言模型和监督信号来提升自资源场景下的文本分类问题。
A Deep Relevance Model for Zero-Shot Document Filtering
推荐理由：提出一种深度相关性网络做零样本的文本分类。