aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 117 | 对话系统专题《何可清:基于对比零资源学习和对抗攻击的跨域槽填充方法》

SFFAI论坛已开放注册,详情点击查看:https://bbs.sffai.com/d/312

关注公众号:【人工智能前沿讲习】,回复【SFFAI117】获取讲者PPT资料,入交流群,推荐论文下载。

面向目标对话系统中的槽填充任务旨在识别特定领域中与任务相关的槽类型,以理解用户话语。零资源槽填充可以有效地解决目标域缺乏标注数据的难题,然而现有的方法通常忽略了槽值表示与槽类型表示之间的语义关联,并缺乏足够的鲁棒性。本期我们邀请到了来自北京邮电大学的何可清同学,分享其提出的跨域槽填充新方法,解决此类问题。


讲者介绍

何可清:北京邮电大学模式识别实验室研究生,现为美团NLP中心对话平台组算法工程师,主要研究方向为任务型对话系统,包括对话理解、对话决策以及对话摘要,在ACL、EMNLP、COLING、NAACL上发表多篇论文。

报告题目:Contrastive Zero-Shot Learning for Cross-Domain Slot Filling with Adversarial Attack

报告摘要:在本文中,针对于跨域槽填充任务,我们提出了一种基于对比零资源学习和对抗攻击的方法CZSL-Adv,其中对比学习试图建模槽值的上下文表示与槽类型表示之间的语义相关性,对抗攻击则有助于提升模型的鲁棒性。实验表明本文提出的方法在低资源和零资源两种设置下都显著地优于之前的基线模型。

论文题目:Contrastive Zero-Shot Learning for Cross-Domain Slot Filling with Adversarial Attack

分享亮点:

  1. 本文提出了一种显式建模槽值与槽类型关系的对比学习方法,可以拉近槽值与其对应的槽类型,推远其他的槽类型,这有助于模型学习到更好的槽位上下文表征;
  2. 本文提出了一种对抗攻击的训练策略来有效提升模型的鲁棒性,通过在隐空间内生成扰动样本来达到数据增强的效果;
  3. 本文提出的方法在跨域槽填充任务上取得了很好地效果。

论文推荐

  1. Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

    推荐理由:槽填充任务经典基线。

  2. Towards Zero-Shot Frame Semantic Parsing for Domain Scaling

    推荐理由:跨域槽填充的最基础模型,首次提出使用槽描述信息。

  3. Robust Zero-Shot Cross-Domain Slot Filling with Example Values

    推荐理由:在第一篇论文的基础上,额外增加了槽值样例信息。

  4. Zero-Shot Adaptive Transfer for Conversational Language Understanding

    推荐理由:把跨域槽填充任务建模为MRC任务。

  5. Coach A Coarse-to-Fine Approach for Cross-domain Slot Filling

    推荐理由:提出了两阶段模型,先识别实体,再做实体分类。

  6. Learning to Tag OOV Tokens by Integrating Contextual Representation and Background Knowledge

    推荐理由:基于外部知识的槽填充模型。


参考资料

https://www.bilibili.com/video/BV1Ur4y1Y7h6/