aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 106 | 语义分割专题《祝澜耘:为语义分割任务学习统计化的纹理特征》

关注公众号:【人工智能前沿讲习】,回复【SFFAI106】获取讲者PPT资料,入交流群,推荐论文下载。

低层次和高层次特征都在语义分割任务中发挥着重要的作用。现有的语义分割研究主要关注高层次特征的提取,例如通过各类注意力模型提取全局的上下文信息。然而,对低层次特征提取方式的研究工作相对较少。本期我们邀请到来自北京航空航天大学的祝澜耘,分享他在CVPR2021的一项工作,在语义分割任务中提取并利用低层次的纹理特征。


讲者介绍

祝澜耘:北京航空航天大学硕士一年级学生,主要研究方向为图像分割,目前已在CVPR等计算机视觉会议期刊上发表多篇论文。

报告题目:为语义分割任务学习统计化的纹理特征

报告摘要:这篇论文主要关注如何在语义分割任务中提取并利用低层次的纹理特征。本文首先提出了一个量化与计数模块(QCO),以统计的方式在深度神经网络中对纹理进行表征。随后,基于QCO,本文又进一步提出纹理增强模块和金字塔纹理特征提取模块,分别对纹理细节进行增强并从多尺度提取统计化的纹理特征。我们提出的模块在仅需增添较少计算量的情况下,有效地在多个语义分割数据集上改善效果。

论文标题:Learning Statistical Texture for Semantic Segmentation

Spotlight:

  1. 本文关注了语义分割任务中的低层次特征提取;
  2. 本文提出了一种新方法在神经网络中对统计化的纹理特征进行表征并利用;
  3. 本文提出的模块具有普适性,能扩展到多种模型结构与任务中。

论文推荐

  1. Rethinking Atrous Convolution for Semantic Image Segmentation

    推荐理由:语义分割经典论文,dilated convolution和aspp是当今语义分割研究常用的骨干网络与基线。

  2. Deep TEN Texture Encoding Network

    推荐理由:早期在深度神经网络中对纹理进行建模的一篇研究。

  3. Expectation-Maximization Attention Networks for Semantic Segmentation

    推荐理由:将EM算法与attention结构结合,传统方法与深度学习方法结合的典范。

  4. Semantic Flow for Fast and Accurate Scene Parsing

    推荐理由:非常实用的轻量级语义分割模型,其提出的特征结合方式简单且高效。

  5. Improving Semantic Segmentation via Decoupled Body and Edge Supervision

    推荐理由:显式地学习边缘等浅层次特征,并使之与高层次特征产生交互。对高低层次特征融合的思考有较好的启发性。

  6. Rethinking BiSeNet For Real-time Semantic Segmentation

    推荐理由:利用拉普拉斯算子手工提取到的图像low level特征,引导网络浅层显式地学习特定的信息。


参考资料

https://www.bilibili.com/video/BV1Qq4y1u7rb/