SFFAI论坛已开放注册,详情点击查看:https://bbs.sffai.com/d/312
关注公众号:【人工智能前沿讲习】,回复【SFFAI116】获取讲者PPT资料,入交流群,推荐论文下载。
Few-shot分类方法只需要少量的训练实例就可以使分类器适应新的类别。最先进的元学习方法(例如MAML)学习如何从有限的实例中初始化和快速调整参数,这些方法在Few-shot分类中展现了优秀的结果。但是,现有的元学习模型仅依赖于隐式的基于实例的统计信息,因此存在实例不可靠和可解释性差的问题。本期我们邀请到来自清华大学的董博文同学,用一种新的元信息指导元学习(MIML)框架,解决了此类问题。
讲者介绍
董博文:清华大学计算机科学技术系本科生,主要研究方向是知识计算相关。
报告题目:元信息指导的元学习模型
报告摘要:为了解决这个问题,我们提出了一种新颖的元信息指导元学习(MIML)框架,使用类的语义概念为初始化和适应中的元学习提供了有力的指导。实际上,我们的模型可以在基于实例的信息和基于语义的信息之间建立连接,从而实现更有效的初始化和更快的适应。与Few-shot分类任务有关的综合实验结果证明了该框架的有效性。值得注意的是,MIML在FewRel的评估中可达到与人类相当或更高的性能。
论文题目:Meta-Information Guided Meta-Learning for Few-Shot Relation Classification
分享亮点:
- 首次将元信息引入了元学习模型,用易获得的元信息为模型的初始化和学习过程提供了有力指导;
- 在FewRel数据集上达到了sota,并且首次超越了人类表现。
论文推荐
FewRel A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation
推荐理由:提出了对于关系抽取任务的Few-Shot标注数据集,并且尝试了的几种当前广泛使用的Few-shot方法。
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
推荐理由:提出了BERT:采用了额外的无监督预训练任务,去捕获了双向的上下文信息,同时对输入输出也进行了改造,使得其能够适用于多种NLP任务。通过一个预训练的BERT模型,只需要再进行简单微调,即可高质量地完成大部分NLP任务。
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
推荐理由:提出了一种Model-Agnostic(模型无关)的方法,该方法可以兼容于任何一种采用梯度下降算法的模型,并且应用于多种任务上。
Prototypical Networks for Few-shot Learning
推荐理由:使用原形网络解决Few-shot问题,原型网络将分类任务看做在语义空间中寻找每一类的原型中心,文中对原型网络本身进行了较为深入的分析,且分析了距离度量方式的选择对任务效果的影响。
Hybrid Attention-Based Prototypical Networks for Noisy Few-Shot Relation Classification
推荐理由:提出了混合基于注意力机制的原型网络去解决有噪声的Few-shot分类问题,基于原型网络设计的注意力机制分别突出了重要的 instances 和 features。
DocRED A Large-Scale Document-Level Relation Extraction Dataset
推荐理由:用人工标注的方式整理了目前最大的基于维基百科的文档级关系抽取数据集,不仅对实体句内关系进行构建,还对句间关系进行考虑。