近日，上海交通大学计算机学院吕宝粮教授和郑伟龙副教授团队在IEEE Transactions on Affective Computing上发表了题为“Investigating the Effects of Sleep Conditions on Emotion Responses with EEG Signals and Eye Movements”的研究论文。吕宝粮教授指导的直博生李子怡为该论文的第一作者。
该研究始于2019年，目的是通过研究正常人在睡眠剥夺条件下的情绪识别，探讨抑郁症客观评估的情绪诱发范式、情绪诱发素材以及生物标记物。先后有两位硕士研究生陶乐妍和马睿骁的硕士学位论文围绕该题目开展了相关研究，他们从数据采集到模型构建和数据分析，做了大量前期的基础性工作。
在心理学与神经科学领域，尽管有一些关于睡眠剥夺对情绪反应影响的研究成果。但是在这些研究中，对人的情绪状态的评估大多基于问卷和量表，而非基于人的生理信号。该研究与已有工作的重要区别是应用先进的深度学习技术，定量地分析睡眠剥夺对人的情绪识别所造成的影响。
为了开展上述研究，团队构建了SEED-SD数据集，一个涵盖40名被试的脑电和眼动信号的多模态情绪数据集。被试的睡眠状态分别为睡眠剥夺（SD）、睡眠恢复（SR）和正常睡眠（NS）。每种睡眠状态均对应四种基本情绪的识别：愉快、悲伤、恐惧与中性状态。同时，团队提出了区域Transformer模型（Region Transformer with Layer-Fusion，ReLF）。利用ReLF在SEED-SD数据集上的系统分析表明，睡眠剥夺显著影响情绪识别的准确性，而睡眠恢复与正常睡眠下的情绪识别性能相近。
主要贡献如下：
- 构建了SEED-SD数据集，一个睡眠剥夺条件下的脑电和眼动信号的多模态情绪数据集，包含40名被试在三种睡眠状态（SD、SR和NS）下，对四类目标情绪（愉快、悲伤、恐惧和中性）诱发的脑电与眼动数据。SEED-SD总时长达109.8小时，是目前已公开的最大规模的、涵盖多种睡眠状态的多模态情绪数据集。
- 提出了ReLF（Region Transformer with Layer-Fusion）算法，通过分区多头自注意力机制提取不同模态的局部特征：脑电的脑区特征与眼动的特征类型信息。在模态缺失场景下引入提示微调机制，实现对预训练模型的高效适配与微调。
- 在SEED-SD数据集上，对睡眠剥夺条件下的情绪识别进行了系统的分析，实验结果表明：睡眠剥夺显著降低情绪识别性能，而睡眠恢复与正常睡眠状态表现相近，突显出睡眠恢复在缓解睡眠剥夺不利影响方面的重要作用。此外，不同睡眠状态虽不会改变模态互补性和关键频段的分布，但脑电与眼动的神经模式在不同状态间存在明显差异。
ReLF： https://github.com/iiieeeve/ReLF
SEED-SD： https://bcmi.sjtu.edu.cn/home/seed/index.html
论文原文：https://ieeexplore.ieee.org/document/11010138