微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办，中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第四十九期云上微表情于2024年02月28日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自西南大学的在读博士研究生周巨与来自香港城市大学的研究助理张毅围绕“微表情生成”主题做报告。
周巨，西南大学电子信息工程学院，计算机科学与技术专业在读博士，导师为陈通教授，主要研究方向为情感计算、视频图像处理、计算机视觉。
报告题目：ULME-GAN: A Generative Adversarial Network for Micro-expression Sequence Generation
报告摘要：
目前，微表情研究面临的一个主要挑战是缺乏充足的微表情数据集，这限制了微表情有监督数据生成技术的发展。为了解决这个问题，本研究提出了基于无监督学习的微表情序列生成对抗网络（ULME-GAN）方法，该方法具备生成可控微表情序列的能力。本研究分析了主流微表情数据集中涵盖的所有动作单元（AU），进而提出了一种创新的AU矩阵重编码（AUMR）技术。这种技术通过平滑处理源视频中提取的AU矩阵，从而生成更加自然和连贯的微表情序列。实验结果表明，相较于其他方法，ULME-GAN能够生成更加贴近输入源的微表情视频与图像。在微表情识别任务中，利用ULME-GAN生成的数据集进行训练，能够显著提高微表情识别模型的性能。值得一提的是，ULME-GAN能够根据专家意见输入的AU矩阵生成具有特定微表情模式的视频与图像，即便在源视频资源有限的情况下，也能满足不同应用场景的需求。所有代码已开源。
参考文献：
[1] Zhou, J., Sun, S., Xia, H., Liu, X., Wang, H., & Chen, T. (2024). ULME-GAN: a generative adversarial network for micro-expression sequence generation. Applied Intelligence, 54(1), 490-502.
张毅，香港城市大学研究助理。本科毕业于中山大学智能科学与技术专业。研究兴趣为机器学习、人工智能、以及视频理解与分析。
报告题目：Facial prior guided micro-expression generation
报告摘要：
微表情生成任务可以扩充当前的面部微表情数据集，进而成为解决微表情数据匮乏的手段之一。使用基于自监督的动作迁移模型进行微表情生成的难点在于模型难以对幅度微弱而持续时间短的面部动作进行有效编码，从而影响生成质量。报告汇报了一种基于面部先验知识的微表情生成框架，通过显式编码面部动作单元的几何位置信息，提高模型的生成效果。为了验证模型的改进效果，我们采用了多种衡量方式定性和定量地考察模型的生成质量。报告文章发表于IEEE Transaction on Image Processing。
参考文献：
[1] Zhang, Y., Xu, X., Zhao, Y., Wen, Y., Tang, Z., & Liu, M. (2023). Facial prior guided micro-expression generation. IEEE Transactions on Image Processing.