aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

CSIG云上微表情-第54期-基于多模态大模型的情感识别

微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第五十四期云上微表情于2024年07月31日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自中国科学院自动化研究所助理研究员连政博士作主题为“基于多模态大模型的情感识别”的学术报告,欢迎大家关注!

连政,中国科学院自动化研究所助理研究员,近年来围绕情感交互技术开展了大量研究工作,期望实现可靠、准确、可解释的多模态情感识别。近年来,发布了120k汉语多模态情感识别数据库MER,并围绕该数据库在ACM MM 和 IJCAI 上连续两年组织了多模态情感识别挑战赛和研讨会;建立了围绕多模态情感识别的评估基准MERBench;提出了可靠、可信、可解释的情感识别问题,旨在消除情感标签的模糊性问题EMER;相关研究成果发表在TPMAI、NeurIPS、TNNLS、TAC、TASLP等期刊和会议上;多次获得国际情感识别挑战赛冠军。

报告题目:
基于多模态大模型的情感识别

报告摘要:
近几年大模型技术取得了举世瞩目的进展,在情感计算领域也产生了重要应用。报告主要围绕基于多模态大模型的情感识别技术进行分析。报告首先将介绍多模态大模型以及其在情感识别任务中的表现;然后,进一步介绍如何利用多模态大模型实现可解释的情感识别技术;最后,报告还将在上述技术基础上,探讨如何在情感识别中实现开放数量开放类别的情感标签自动识别,并对基于大模型的情感识别技术的发展,提出思考与展望。