SFFAI论坛网站已开放注册,详情点击查看:https://bbs.sffai.com/d/312
关注公众号:【人工智能前沿讲习】,回复【SFFAI124】获取讲者PPT资料,入交流群,推荐论文下载。
图像超分辨率(SR)是计算机视觉中的重要研究课题。得益于深度网络的发明及其连续的突破,图像超分辨率技术得到了快速发展。但是公认的是,深度学习和深度神经网络很难解释。超分辨率网络继承了这种神秘的特质,几乎没有作品试图去理解它们。本期论坛我们邀请到了来自悉尼大学的顾津锦同学,分享关于超分辨网络的可解释性分析的方法和一些结果。
讲者介绍
顾津锦:本科毕业于香港中文大学(深圳)获工学学士学位。悉尼大学在读电子信息工程博士,研究方向为图像处理,深度学习可解释性,以及机器学习在工业系统中的应用。研究成果发表于 CVPR/ECCV/ICCV 等会议,引用量 1800 余次。曾合作组织知名研讨会 NTIRE。曾在 SenseTime 和腾讯担任研究员。研究成果AI智能摄像系统已经应用于 OPPO,Vivo,一加等手机。研究成果 ESRGAN 被用于多个老游戏的高清重制,被媒体广为报道。
报告题目:图像超分辨率网络的可解释性
报告摘要:我们首先对超分辨率网络进行了归因分析,目的是寻找对超分结果有重大影响的输入像素。我们提出了一种新颖的归因方法,称为局部归因图(LAM)。我们还着重研究了超分辨率网络中的表示,并尝试从超分辨率网络中探究网络学习的语义信息。我们的工作为设计超分网络和解释底层视觉深度模型开辟了新的方向。对超分的理解会帮助我们找到解决现有问题的方法。
分享亮点:
- 我们是首批聚焦于对图像到图像的网络急性可解释分析的团队。我们论证了对底层视觉问题进行可解释分析的重要性和方法论;
- 我们提出了一种新颖的归因方法,用于超分辨网络的归因分析;
- 通过分析降维和可视化的特征表示,我们成功地发现了 SR 网络中的深层语义表示,即深度退化表示(DDR)。我们揭示了分类和 SR 网络之间表示语义的差异。
论文推荐
Interpreting Super-Resolution Networks with Local Attribution Maps
推荐理由:我们使用局部归因图对超分辨率进行分析的工作。https://x-lowlevel-vision.github.io/lam.html
Discovering “Semantics” in Super-Resolution Networks
推荐理由:我们通过分析降维和可视化的特征表示发现 SR 网络中的深层语义表示的工作。https://x-lowlevel-vision.github.io/ddr.html
Finding Discriminative Filters for Specific Degradations in Blind Super-Resolution
推荐理由:通过分析底层网络的参数,观察盲超分辨率网络的行为。https://x-lowlevel-vision.github.io/faig.html
Learning Deep Features for Discriminative Localization
推荐理由:著名的归因分析方法CAM。
Visualizing the Impact of Feature Attribution Baselines
推荐理由:归因方法的分析与探究。https://distill.pub/2020/attribution-baselines/