aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

SFFAI 99 | 数据扩增专题《王语霖:图像数据的隐式语义数据扩增》

关注公众号:【人工智能前沿讲习】,回复【SFFAI99】入交流群,推荐论文下载。

在计算机视觉任务中,数据扩增是一种基于较少数据、产生大量训练样本,进而提升模型性能的有效方法。传统数据扩增方法主要借助于图像域的翻转、平移、旋转等简单变换。而本期讲者王语霖提出了一种隐式语义数据扩增算法,对样本进行更为「高级」的、「语义」层面的变换,例如改变物体的背景、颜色、视角等。


讲者介绍

王语霖:清华大学自动化系2019级直博生。导师为吴澄院士和黄高助理教授。此前于北京航空航天大学自动化学院获工学学士学位。研究兴趣为深度学习模型的高效训练和推理方法。在T-PAMI、NeurIPS、ICLR等国际一流期刊、会议上以第一作者发表学术论文。

报告题目:图像数据的隐式语义数据扩增

报告摘要:我们提出了一种隐式语义数据扩增算法:ISDA,具有如下几个突出特点:
(1)与传统数据扩增方法高度互补,有效地增进扩增多样性和进一步提升性能;
(2)巧妙地利用深度神经网络长于学习线性化表征的性质,在特征空间完成扩增过程,无需训练任何辅助生成模型(如GAN等),几乎不引入任何额外计算或时间开销;
(3)直接优化无穷扩增样本期望损失的一个上界,最终形式仅为一个全新的损失函数,简单易用,便于实现;
(4)可以广泛应用于全监督、半监督图像识别、语义分割等视觉任务,在ImageNet、Cityscapes等较大规模的数据集上效果比较明显。

论文标题:Regularizing Deep Networks with Semantic Data Augmentation

Spotlight:

  1. 关注语义层面的数据扩增;
  2. 利用特征空间的性质,对深度特征进行数据扩增;
  3. 从期望损失的形式出发,向大家展示了数据扩增不一定是随机化的方法,亦可以体现为一个确定的形式,例如损失函数。

论文推荐

经典论文

  1. AutoAugmentLearning Augmentation Strategies from Data

    推荐理由:首次提出使用自动搜索方式设计数据增广策略,取得显著的效果提升。

  2. mixup BEYOND EMPIRICAL RISK MINIMIZATION

    推荐理由:提出了在诸多领域(有监督学习、半监督学习、对抗防御等等)广为应用的MixUp算子,将两个样本在输入空间直接线性差值即可产生令人惊叹的效果。

  3. Deep Feature Interpolation for Image Content Changes

    推荐理由:揭示了深度特征空间具有大量对应图像空间语义变换的方向,并借此实现复杂的语义变换。

前沿论文

  1. CutMix Regularization Strategy to Train Strong Classifiers with Localizable Features

    推荐理由:拓展了MixUp的工作,针对图像数据提出了极为简单有效的CutMix算子。

  2. Joint Contrastive Learning with Infinite Possibilities

    推荐理由:在自监督学习中采用与ISDA类似的隐式机器学习技术设计损失训练目标。

  3. ADVERSARIAL AUTOAUGMENT

    推荐理由:采用对抗训练的思路设计自动数据扩增算法,是目前最为有效的方法之一。


参考资料

https://www.bilibili.com/video/BV1N34y1U7o8/