aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

CSIG云上微表情-第52期-基于因果关系及公平性的微表情分析

微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第五十二期云上微表情于2024年05月31日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自莫纳什大学(马来西亚校区)在读博士生陈佩诗作主题为“基于因果关系及公平性的微表情分析”的学术报告。

陈佩诗,莫纳什大学(马来西亚校区)在读博士生,师从Raphaël C.-W. Phan教授。主要研究方向为:微反应情感分析、视觉因果关系、可信任AI。

报告题目:基于因果关系及公平性的微表情分析

报告摘要:
检测微表情面临着巨大的挑战,主要是因为它们的转瞬即逝的性质和现有数据集的多样性有限。我们的研究发现,这些数据集对特定种族表现出明显的偏见,并且样本之间的阶级和性别代表性存在显着的不平衡。这些差异为各种偏见在深度学习模型中蔓延提供了条件,导致结果出现偏差以及对特定人口群体的描述不充分。我们的研究是由识别和纠正模型架构中的这些偏差的迫切需求驱动的。为了实现这一目标,我们首先构建一个因果图,阐明模型、输入特征和训练结果之间的复杂关系。这种图形表示构成了我们分析框架的基础。利用这个因果框架,我们进行全面的案例研究,采用反事实作为诊断工具,揭示数据集引起的阶级不平衡、性别不平等和面部动作单元变化所产生的偏见。我们的最后一步涉及高效的反事实去偏差过程,消除了额外数据收集或模型再训练的必要性。

参考文献:
[1] Tan, Pei-Sze, et al. “Causally Uncovering Bias in Video Micro-Expression Recognition.” ICASSP 2024-2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2024.
[2] Tan, Pei-Sze, et al. “Unbiased Decision-Making Framework in Long-Video Macro & Micro-Expression Spotting.” 2023 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2023.