aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

CSIG云上微表情-第38期-对比学习在微表情识别中的应用

微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第三十八期云上微表情将于2023年03月31日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自北京科技大学的在读博士生万菲和南京大学的在读硕士生汪天豪来分别介绍他们基于对比学习开展的微表情识别方法。

万菲,北京科技大学计算机与通信工程学院在读博士生,师从支瑞聪教授,研究方向为人工智能,计算机视觉。主要研究兴趣是视觉上的情绪识别任务,如面部表情识别,面部肌肉与心理状态的关联研究,跨模态的面部表情检测等。
报告内容:
面部微表情是面部肌肉的不自主运动,由于面部肌肉变化的微妙性和多样性,阻碍面部微表情识别精度提升的主要问题之一是难以解耦公共信息(面部属性)和私有信息(面部运动)以及不相关面部运动带来的噪音。为此,我们从两个角度试图解决这个问题。第一个角度是利用高斯分布针对面部属性建模,不同图像可以通过简单的采样网络获得个人信息表示;第二个角度是利用有监督的对比学习,从而克服不相关的面部运动引起的噪音。
参考文献:
(1)Wan, F., & Zhi, R. (2022). Gaussian distribution-based facial expression feature extraction network. Pattern Recognition Letters, 164, 104-111.
(2)Zhi, R., Hu, J., & Wan, F. (2022). Micro-expression recognition with supervised contrastive learning. Pattern Recognition Letters, 163, 25-31.

汪天豪,南京大学计算机科学与技术系在读硕士生,导师为商琳副教授。研究方向为情感计算,面部表情分析,目前主要研究面部微表情检测与识别方法等。
报告内容:
针对微表情识别中的数据规模小和时序特征难以建模的问题,我们提出了一种自适应的时序增强动量对比学习方法。该方法通过对比学习预训练模型,增强了对时序特征的建模能力,提高了微表情识别的准确率。
参考文献:
Wang, T., & Shang, L. (2023). Temporal augmented contrastive learning for micro-expression recognition. Pattern Recognition Letters, 167, 122-131.