aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 44 | 申磊：多轮对话中的上下文信息建模

发表于 分类于 ， 阅读次数： Valine：
本文字数： 3.4k 阅读时长 ≈ 8 分钟

开放域对话系统主要包括单轮对话和多轮对话这两种设定。相较于单轮对话，多轮对话更加符合实际应用场景，即需要对历史信息进行建模，利用其中的相关内容，从而生成有效的回复。对话历史信息有如下的特点：

  1. 词到句，句到片段的层次性结构；
  2. 很多冗余内容与当前回复无关；
  3. 词或句存在远距离依赖关系；
  4. 内容的变换或语义关系的转移。
    基于以上特点，近期不少的研究工作相继展开。本次分享将带大家梳理和回顾在多轮对话历史信息建模和回复生成方面的主要工作

讲者介绍

申磊：中国科学院计算技术研究所智能信息处理重点实验室17级直博生。目前研究兴趣为自然语言处理和对话系统。参与发表EMNLP论文一篇，以第一作者身份发表ACL2019论文一篇。

报告题目：Context Modeling for Multi-turn Dialogue Generation

报告摘要：开放域对话生成任务主要包括单轮对话和多轮对话这两种设定。相较于单轮对话，多轮对话更加符合实际应用场景，同时更具有研究挑战性。对话历史信息有如下的特点：

  1. 词到句，句到片段的层次性结构；
  2. 很多冗余内容与当前回复无关；
  3. 词或句存在远距离依赖关系。对话历史信息对于生成内容相关且信息量丰富的回复有很大的作用，因此如何建模历史信息显得尤为重要。本次报告将带大家梳理和回顾在多轮对话历史信息建模和回复生成方面的主要工作。

Spotlight：

  1. 开放域对话系统；
  2. 多轮对话历史信息建模；
  3. 隐变量与CVAE。

王唯康：中科院自动化所模式识别国家重点实验室在读博士生，研究兴趣为自然语言处理，对话系统，博士期间在ACL，EMNLP等国际顶级会议上发表多篇论文。

报告题目：Detecting Identity Fraud via Dialogue Interactions

报告摘要：检测出身份欺诈者在诸如金融业等许多现实场景下具有十分重要的意义。然而，目前并没有有效的方法能够很好地解决这一问题。鉴于此，我们提出使用对话系统来判断贷款者的身份状态。具体而言，我们的对话系统包含两个主要的模块：第一个是知识图谱构造器，该模块为每个贷款申请者构造一个和其身份信息相关的知识图谱；第二个是对话管理模块，该模块能够根据贷款申请者的身份信息动态地生成一系列的问题并根据贷款者的回答情况判断其身份状态。此外，我们提出了一种新的用户仿真方法来评估我们的对话系统。实验证明了，和基于规则的系统相比，我们的方法能够在更短的交互轮次内更加准确地判断出贷款者的身份状态。此外，实验分析发现强化学习所探索得到的对话策略是可解释的并且非常的灵活。

Spotlight：

  1. 提出了一个工业界和学术界都感兴趣的对话任务，即通过对话交互判断用户的身份是否是伪造的；
  2. 我们指出了该对话系统存在的三个主要挑战并提出了相应的解决方案；
  3. 实验证明了我们的方法明显优于规则的系统。

论文推荐

  1. Hierarchical Recurrent Attention Network for Response Generation

    推荐理由：这是微软亚研发表在AAAI2018上的一篇文章。考虑到词和句在历史信息的建模中占据着不同的地位，这篇文章在Hierarchical Recurrent Encoder-Decoder (HRED)模型上加入了词级别的attention和句级别的attention机制，从而在生成回复的时候捕捉不同粒度的有效信息。实验分析部分也体现了模型合理的可解释性。

  2. Context-Sensitive Generation of Open-Domain Conversational Responses

    推荐理由：这是哈工大发表在COLING2018上的一篇文章。这个文章和北大发表在ACL2018上的一个工作有相似之处，均是通过显式加权方式来整合多轮对话中句子的信息。ACL2018的文章是使用query和response的相似度，本文则是使用静态或者动态的attention机制。

  3. A Hierarchical Latent Structure for Variational Conversation Modeling

    推荐理由：这是韩国的一个团队发表在NAACL2019上的一篇文章。这个文章中提出的模型VHCR是基于Variational HRED (VHRED)的一个改进。本文关注的一个核心问题是VHRED中存在的隐变量退化的问题。通过加入一个对话级别的隐变量以及使用utterance drop的方式，使得隐变量能够更好地发挥作用，从而生成多样化的回复。

  4. Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables

    推荐理由：这是中科院计算所发表在ACL2019上的一篇文章。本文通过CVAE引入了层次化的隐变量来显式建模多轮对话中的语义关系。通过对话级别的隐变量确定全局的背景信息，末轮问答对级别的隐变量捕捉关系最密切的问答之间的相同话题表示，末轮问答句级别的隐变量分别表征问答的不同语言表达方式，显著提高了多轮对话中应答的多样性和一致性。

  5. ReCoSa Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation

    推荐理由: 这是中科院计算所发表在ACL2019上的一篇文章。传统的基于RNN的方法都存在一定的position bias的问题，即更关注靠近query的历史信息，或者基于一定的假设，即query和response是语义最相似的。但是在实际多轮对话中，response和相关的历史信息可能存在远距离依赖关系。为了建模这样的关系，本文在历史信息表示时使用了self-attention机制，从而能够生成更合理的回复。

  6. Learning Symmetric Collaborative Dialogue Agents with Dynamic Knowledge Graph Embeddings

    推荐理由: 该工作是斯坦福团队发表在17年ACL上的工作。该工作提出了一个新的对话场景，即两个对话agent通过交互找出其共同好友。这个任务的难点是存在明显的任务型对话的特点但无法定义出具体的slots信息。此外，作者采用了图神经网络在对话过程中引入知识谱图的信息。我们的工作在设计对话状态追踪模块时也参考了这篇文章的设计思想。

  7. Deal or No Deal End-to-End Learning for Negotiation Dialogues

    推荐理由: 该工作是FAIR发表在17年EMNLP上的工作。该工作提出的对话场景是两个对话agent通过对话进行谈判，进而瓜分一组物品使得各自的reward最大。该工作最大的亮点是使用强化学习优化解码过程。同时，该工作也启发了后续的很多研究，比如在生成式模型下解耦语言生成和对话策略两个模块。

  8. Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems

    推荐理由: 该工作是ACL 19的一篇outstanding paper。该工作提出了一种模型参数共享的方法缓解了DST中数据匮乏的问题。同时，该文章采用基于解码的方法进行对话状态追踪。这种方法可以有效缓解DST中槽值空间过大带来的问题。

  9. Incremental Learning from Scratch for Task-Oriented Dialogue Systems

    推荐理由: 该文章是我们团队和出门问问合作发表在19年ACL上的工作。其主要思想是在对话过程中引入不确定性估计模块评估系统的不确定性度。当系统具有较高的置信度时，回复由机器产生否者人工介入对话过程。在这个设计框架下，对话系统对没考虑到的用户query是鲁棒的并且能够在线地从人工介入数据中学习新的对话知识。

参考资料

https://www.bilibili.com/video/BV1kE411Z7a5/
https://bbs.sffai.com/d/101