aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 67 | 图表示学习专题《朱时超:图平滑样条神经网络》

关注公众号:【人工智能前沿讲习】,回复【SFFAI67】获取讲者PPT资料,入交流群,推荐论文下载。

近年来,人们对深度学习方法在图上的扩展越来越感兴趣。图神经网络就是一种借鉴了卷积网络、循环网络和深度自动编码器的思想,用于处理图数据的神经网络结构。目前这个领域的主要挑战是找到一种方法来表示或者编码图的结构,以便机器学习模型能够轻松利用它们,这就是图表示学习。而图表示学习依然存在部分缺陷,本期我们邀请到了来自信工所的朱时超同学,为我们分享她在解决这些缺陷时提出的新框架——图平滑样条神经网络。


讲者介绍

朱时超:中国科学院信息工程研究所,主要研究方向为图神经网络、异质图表示学习,目前已在AAAI与ICDM等会议上发表论文。

报告题目:图平滑样条神经网络

报告摘要:图神经网络受到广泛的关注和应用,针对图表示学习的图神经网络仍然具有以下两个缺陷:首先,它们利用非平滑节点特征来学习图级别特征,这可能会导致图表示的次优嵌入和退化性能;其次,只利用邻居信息而忽略全局拓扑知识同样会导致上述问题。为了解决以上缺陷,本文提出了一种新颖、灵活的端到端框架——图平滑样条神经网络(GSSNN)来进行图表示学习。

Spotlight:

  1. 本文尝试解决图神经网络表示学习中的特征平滑问题和全局拓扑信息捕获问题;
  2. 本文首次结合平滑样条来平滑节点重要特征,避免噪声影响;
  3. 本文提出了一个可嵌入框架,增强现有模型的表达能力和解释能力。

论文推荐

  1. HOW POWERFUL ARE GRAPH NEURAL NETWORKS 2019 NeurIPS

    推荐理由:图级别表示学习经典论文。

  2. CAPSULE GRAPH NEURAL NETWORK. 2019 ICLR

    推荐理由:图胶囊神经网络,将capsule概念引入GNN。

  3. Hierarchical Graph Representation Learning with Differentiable Pooling. 2018 NeurlPS

    推荐理由:可微层级图池化经典论文。

  4. Self-Attention Graph Pooling. 2019 ICML

    推荐理由:图表示学习代表工作,利用自注意力机制进行图池化操作。

  5. An End-to-End Deep Learning Architecture for GraphClassification. 2018 AAAI

    推荐理由:图池化操作代表论文,通过度量节点重要性进行池化操作。

  6. Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks. 2019 KDD

    推荐理由:知识图谱中度量节点重要性的图神经网络代表工作。


参考资料

https://www.bilibili.com/video/BV1554y1z7mY/
https://bbs.sffai.com/d/156