aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

CSIG云上微表情-第41期-微表情识别@CVPR2023

微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第四十一期云上微表情于2023年06月30日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自香港城市大学的范歆琦博士与武汉大学的在读硕士生翟芷君介绍他们发表在CVPR2023上的微表情识别相关工作。

范歆琦,2023年6月博士毕业于香港城市大学。研究兴趣为深度学习、计算机视觉、情感计算;主要研究方向是微表情的分析和生成。

报告题目:
SelfME: Self-Supervised Motion Learning for Micro-Expression Recognition
报告摘要:
虽然基于深度学习的微表情识别方法取得了极大的成功,但这些方法通常需要使用传统的基于光流的方法进行预处理以提取面部运动作为输入。为了克服这个限制,我们提出了一个新的微表情框架SelfME,使用自我监督的运动学习来提取面部运动信息。自发的面部运动往往是相对对称的,或者其左右脸的运动信息的差别是可以忽略不计的。然而,自监督运动学习方法在提取精细特征时可能会忽略面部左右两侧的对称面部运动信息。为了解决这个问题,我们提出了一个对称对比视觉Transformer (SCViT) 来帮助模型学习相似的左右脸运动特征。
参考文献:
Fan, X., Chen, X., Jiang, M., Shahid, A. R., & Yan, H. (2023). SelfME: Self-Supervised Motion Learning for Micro-Expression Recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 13834-13843).

翟芷君,武汉大学计算机学院研一在读,师从赵俭辉副教授,主要研究方向:微表情识别(CVPR 1篇)、多尺度三维重建。
报告题目:
Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition
报告摘要:
微表情是非常微小而短暂的面部表情变化,难以捕捉和识别,但却在日常生活中起着不可忽视的作用。最近已经有许多基于深度学习的方法用于微表情识别,但是这些方法所使用的动态特征都是在预处理阶段使用传统方法提取,并未与后续的分类网络相结合,从而缺乏自适应性。针对这一问题,我们提出了一个端到端的微表情识别网络FRL-DGT,以微表情片段的起始帧和最大帧作为输入,通过位移生成模块DGM提取出自适应的动态位移特征,再由多层级的Transformer Fusion模块对动态特征进行学习和融合,预测最终的微表情类别。我们的对比实验和消融实验证明了FRL-DGT网络整体以及各个模块的有效性。
参考文献:
Zhai, Z., Zhao, J., Long, C., Xu, W., He, S., & Zhao, H. (2023). Feature Representation Learning with Adaptive Displacement Generation and Transformer Fusion for Micro-Expression Recognition. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 22086-22095).