目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地学习无标签数据的特征、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能
讲者介绍
常建龙：中科院自动化所在读博士。在2015年获得电子科技大学数学与应用数学专业理学学位，之后师从潘春洪和向世明研究员在中科院自动化所模式识别国家重点实验室攻读博士学位，主要研究方向为基于关系的深度学习，包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。
报告题目：基于关系的深度学习（ Relation-based Deep Learning）
报告摘要：作为当下最受欢迎的机器学习方法之一，深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地降低网络中的参数冗余度、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能，例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。
Spotlight：
- 深度网络中关系的建模。
论文推荐
- Reltional Inductive biases, deep learning, and graph networks
推荐理由：2018年DeepMind和Google Brain提出的graph networks的一个统一架构，基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。
- DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
推荐理由：DARTS是DeepMind和CMU的论文，被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，本文的方法是基于将结构表示的松弛（relaxation），允许使用梯度下降高效搜索架构。在CIFAR-10，ImageNet，Penn Treebank和WikiText-2上进行了大量实验，表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。
参考资料
https://www.bilibili.com/video/BV1Hx411X762/
https://bbs.sffai.com/d/82