微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会和CSIG情感计算与理解专业委员会联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第三十三期云上微表情将于2022年11月01日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自厦门大学的刘昆宏教授来作报告。由于微表情数据量小和识别难度高等特性,设计一套自动化的微表情分析系统仍然是一个巨大的挑战。在微表情识别任务中,针对微表情识别难度大、数据量小的问题,刘教授及其团队基于不同的深度学习框架,从多个角度进行探索。
讲者简介
刘昆宏,博士,教授,博士生导师,厦门大学电影学院数字媒体技术系主任。2008年7月在中国科技大学获模式识别与智能系统专业博士学位。2008年7月至今受聘于厦门大学,现为电影学院数字媒体技术系教授。2014年9月至2015年9月于香港理工大学计算机系任职博士后研究员。担任的社会兼职包括中国自动化学会智能健康与生物信息专业委员会委员,福建省区块链协会专家智库特邀专家。至今发表SCI、EI检索第一作者、通讯作者国际期刊、会议论文超过90篇,主持与参与的国家级项目6项,省部级与横向项目30余项。与境内外多个研究院及知名企业建立长期合作关系。指导的团队在包括互联网+等多个国家级、省部级竞赛获得奖项。担任UAI等多个国际会议Member of Program committee, Steering committee等,以及多个国际SCI期刊Executive Guest Editor。担任包括IEEE Transactions on Fuzzy Systems等国际、国内多个知名期刊的审稿人。
报告简介
由于微表情数据量小和识别难度高等特性,设计一套自动化的微表情分析系统仍然是一个巨大的挑战。在微表情识别任务中,针对微表情识别难度大、数据量小的问题,我们基于不同的深度学习框架,从多个角度进行探索,包括:
(1)提出了一种基于隐式深度特征增强的分块卷积网络 BDCNN 网络。具体地,BDCNN 网络以每个视频的起始帧和顶点帧计算得到的四种光流特征作为输入。该算法创新地在网络结构中将每个图像划分为一组小块,然后以块为单位进行卷积和池化操作, 提取每个块的图像特征。为了处理微表情数据的小样本问题,本研究在深度特征空间上使用了改进的隐式语义数据增强算法。提出的算法在三类和五类两个任务中均取得了较好的效果。
(2)提出了基于深度森林(DeepForest)和卷积神经网络(CNN)的集成算法DeepForest&CNN,通过集成学习的方式将深度森林生成的重表示特征和卷积神经生成的高阶特征融合,差异化特征空间,提高模型对微表情数据集的适应性。实验表明,该方法进一步地提高了微表情识别的准确率。
(3)引入一种通用的特征选择框架,来改善当前微表情识别的性能。目前的实验表明使用深度学习方法进行微表情预测分类效果良好,但是神经网络提取出的微表情特征往往维度较高,故我们采用遗传算法对池化层后的输出特征作分片选择,找到最优解初步提升实验效果,并使用序列前向选择方法进行局部特征选择,以便计算中更好地提升识别性能。