aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 112 | 图像分割专题《李祥泰:基于点流的遥感图像分割》

论坛:https://bbs.sffai.com/

关注公众号:【人工智能前沿讲习】,回复【SFFAI112】获取讲者PPT资料,入交流群,推荐论文下载。

遥感图像分割属于图像语义分割的一个指定任务。遥感图像分割有着广泛的应用,比如无人机定位,航拍图像处理,城市的运行管理等等。不同于图像语义分割专注于解决多尺度问题,遥感图像分割里面有一些特殊的问题需要解决。其中最为重要的两个问题:一是前背景的目标的不平衡问题,背景的像素比重过于复杂,导致前景的分割目标质量较差。二是相关的数据集中存在着过多的小目标,小目标的分割效果好的要求是必须要做到高分辨率和高语义的特征表达。本期我们邀请到来自北京大学的李祥泰同学,分享他解决上述两个问题的方法。


讲者介绍

李祥泰:北京大学信息科学技术学院在读博士生,直博博四。博士的研究方向是图像和视频的分割。目前在CVPR, ECCV, AAAI, BMVC. TIP等会议和期刊发表相关论文8篇。

报告题目:基于点流的遥感图像分割

报告摘要:一些基于密集相似性(dense affinity)的语义分割方法在遥感图像分割数据集上会导致性能急剧地下降,我们初步判断其原因是过量的上下文信息导致给每个像素点带了不必要的噪声,比如对于汽车的类别,背景可能是路面,或者房屋,但是在iSAID数据集上,路面和房屋却是一个类别,这种外观和语义之间的差距导致了,基于dense affinity的方法性能比baseline的结果还要差。为此我们提出了一个新的框架来解决这个问题,我们的名字叫做PointFlow(点流),基于点的相似形矩阵建模的框架。由于遥感的数据集存在小目标比较多的情况,我们采用FPN的框架,这样可以把语义信息从上到下地传递,即我们的模块的输入是两个相邻的特征层(低分辨率高语义为高层,高分辨率低语义是底层),输出是底层的特征。我们方法在三个不同的国际遥感图像分割数据集上取得了领先的地位(iSAID,Vaihingen,Postdam),并且我们还做到了最好的速度和精度的权衡。

论文题目:PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation

分享亮点:

  1. 该次分享会详细介绍遥感分割中重要的两个问题:一是前背景的目标的不平衡问题,二是相关的数据集中存在着过多的小目标问题;
  2. 该次分享会详细回顾相关的语义分割工作和思路;
  3. 该次分享会详细介绍基于点的affinity设计和实验分析。

论文推荐

  1. Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery

    推荐理由:本文指出了在遥感数据集上前背景数据分布不均衡的问题,提出了前景相关的上下文建模,在iSAID数据集上取得了不错的效果。

  2. A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes

    推荐理由:本文提出了一种多尺度的spatial和channel 两个方向建模长距离和短距离依赖的模型, 在Vaihingen,Postdam两个数据集上取得不错的效果。

  3. Gated Fully Fusion for Semantic Segmentation

    推荐理由:本文提出了一种通过门控机制融合不同层信息的模块,对场景中小目标分割有帮助,可以天然地扩展到遥感数据集上。

  4. Dynamic Graph Message Passing Networks

    推荐理由:本文提出了一种动态图建模上下文的方法,相比之前的基于全图信息的上下建模,该方法更加的高效和灵活。

  5. PointRend Image Segmentation as Rendering

    推荐理由:本文提出把图像分割以一种基于点的coarse to fine的形式处理,这种框架不仅可以获得较好的边缘和细节信息,同时在推理和训练时也很高效。

  6. Semantic Flow for Fast and Accurate Scene Parsing

    推荐理由:本文提出了一种基于语义流的方式建模图像的上采样过程,进而得到一个对齐的特征表达,同时推理高效。


参考资料

https://www.bilibili.com/video/BV1MD4y1w7HR/