微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办，中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第四十二期云上微表情将于2023年08月03日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自河海大学的在读博士生倪蓉蓉和蔡慧丽介绍他们发表在Knowledge-Based Systems与IEEE Transactions on Human-Machine Systems上的情感计算相关工作。
倪蓉蓉，河海大学物联网工程学院博士三年级在读，师从刘小峰教授，主要研究方向：情感人机交互，面部情感计算。
报告题目：Diverse local facial behaviors learning from enhanced expression flow for microexpression recognition
报告摘要：
面部微表情识别最近在审讯和临床诊断领域引起了越来越多的关注。然而，准确的微表情识别面临着肌肉运动强度低和微表情持续时间短的困扰，同时还存在训练数据有限的问题。为了解决上述问题，我们利用面部的表情流图像来探索这种持续时间短、肌肉运动强度低的表情运动。具体而言，首先提出了一种运动细节增强方法，用于从表情流中分离与微表情无关的运动。然后，引入基于不同u-v权重的数据增强策略来生成多样的s分量，解决样本有限的问题。随后，增强的面部u/v/s图像被输入到局部多样驱动的面部微表情识别网络（LD-FMERN）中，用于提取微表情相关特征。网络中使用空间通道调制器来优化提取的特征。同时通过局部多样性特征挖掘策略进一步增强优化后的特征，使网络专注于小而多样的面部区域。根据人类视觉定律，我们提出了一种自适应损失函数由全局到局部的优化网络。最后将所提方法在基准数据集CASMEII、SAMM和MMEW上进行了广泛的定量和定性评估，结果证明了方法的有效性。
参考文献：
Ni Rongrong, Yang Biao, Zhou Xu, Song siyang and Liu Xiaofeng. Diverse local facial behaviors learning from enhanced expression flow for microexpression recognition[J]. Knowledge-Based Systems, 2023, 275(5): 110729.
蔡慧丽，河海大学物联网工程学院在读博士生，导师为刘小峰教授，研究方向为情感计算。
报告题目：Emotion Recognition Through Combining EEG and EOG Over Relevant Channels With Optimal Windowing
报告内容：人类情感的表达是一个复杂的心理和生理变化过程，单一的模态往往无法准确地识别情感。为了解决这个问题，并利用信号中情感相关的互补信息，本文提出了融合EEG信号和EOG信号的优势，以建立一个更具鲁棒性的情感识别模型。首先，本文提出通道选择策略，利用EEG信号与标签的互信息选择合适的通道大小，以减少冗余信息，并确保提取的特征具有代表性。接着，本文提出时间窗划分策略，采用不同的窗口大小来划分信号，以减少特征冗余并增加样本数量，从而提高模型的泛化能力。最后，在最优窗口大小下，将部分通道的EEG信号和EOG信号进行特征融合和决策融合。通过融合不同信号源的信息，能够更全面地捕捉情感相关特征，提高情感识别的准确性和稳定性。
参考文献：
Cai H, Liu X, Ni R, Song S, and Cangelosi A. (2023). Emotion Recognition Through Combining EEG and EOG Over Relevant Channels With Optimal Windowing. IEEE Transactions on Human-Machine Systems, 1-10, (WOS:001005980800001).