微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士和李婧婷博士组织一系列云上微表情的学术活动。
第六十六期云上微表情于2025年7月31日晚7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座主题为“微表情智能分析@IEEE T-PAMI”,分别邀请来自电子科技大学长三角研究院余旺旺博士、中国矿业大学硕士毕业生/华东师范大学博士研究生程依凡分别介绍被IEEE T-PAMI接收的微表情智能分析相关工作,欢迎大家关注!
余旺旺,电子科技大学生命科学与技术学院博士,师从李永杰教授,所在课题组为:神经信息教育部重点实验室(Key Laboratory for Neuro lnformation of Ministry of Education),视觉认知与类脑计算中心(Visual Cognition and Brain-Inspired Computation,ViCBiC);目前为电子科技大学长三角研究院(湖州)在站博后。研究方向为微表情识别与认知计算。
报告题目:基于多层级一致性的弱监督微表情与宏表情检测
报告摘要:目前,大多数针对未剪辑视频的微表情与宏表情检测方法都面临着视频层面采集和帧层面标注的负担。基于视频级标签的弱监督表情检测(WES)有望在实现细粒度帧级检测的同时,降低帧级标注的复杂度。然而,我们认为现有的弱监督方法基于多实例学习(MIL),存在模态间、样本间和任务间的差距。其中,样本间的差距主要源于样本分布和持续时间。为此,我们提出了一种新颖且简洁的弱监督表情检测框架 ——MC-WES。该框架采用多层级的一致性协同机制,包括模态级显著性、视频级分布、标签级持续时间和片段级特征一致性策略,仅利用视频级标签就能实现精细的帧级检测,从而缓解上述差距并融合先验知识。模态级显著性一致性策略着重捕捉原始图像与光流之间的关键关联;视频级分布一致性策略利用时间分布上的稀疏性差异;标签级持续时间一致性策略则借助面部肌肉运动持续时间的差异;片段级特征一致性策略强调相同标签下的特征应保持相似性。在三个具有挑战性的数据集——CAS (ME)²、CAS (ME)³ 和 SAMM-LV 上的实验结果表明,MC-WES 可与全监督的SOTA方法相媲美。
程依凡,本硕就读于中国矿业大学计算机科学与技术学院,导师为邵志文副教授;即将进入华东师范大学计算机科学与技术学院攻读博士学位,导师为国家杰青马利庄教授。研究方向为情感计算与具身智能。
报告题目:联合光流估计与人脸特征点检测的微表情识别
报告摘要:由于微表情(ME)动作的瞬时性与微小性,面部微表情识别(MER)是一项极具挑战性的任务。现有方法大多依赖于手工设计特征、基于起始帧-峰值帧-结束帧的关键帧的提取,或者是受限于小规模低多样性的训练数据。本文提出一种端到端的微动作感知深度学习框架MOL,融合了Transformer、图卷积与标准卷积的优势。具体而言,我们提出由全连接卷积和通道关联卷积构成的F5C模块,可直接从原始帧序列中提取局部-全局特征,而无需关键帧等先验知识。其中,Transformer风格的全连接卷积能在保持全局感受野的同时提取局部特征;图风格的通道关联卷积则用于建模特征模式间的相关性。此外,通过共享局部-全局特征,该系统实现了MER、光流估计与人脸特征点检测的联合训练。后两项任务通过捕获面部细微动作信息来辅助MER,从而缓解训练数据不足的影响。大量实验表明:本框架(i)在CASME II、SAMM和SMIC数据集上取得了与现有SOTA方法相比较有竞争力的MER评测结果;(ii)能有效完成光流估计与人脸特征点检测任务;(iii)可精准捕捉与ME相关的局部区域的面部肌肉微动作。