启航论坛汇报
CSIG云上微表情-第49期-微表情生成
“意念”控制“动作”,“人机共生”时代还有多远?
2024年1月29日,首都医科大学宣武医院赵国光教授团队与清华大学医学院洪波教授团队召开无线微创脑机接口临床试验阶段进展总结会,宣布全球首例植入式硬膜外电极脑机接口辅助治疗颈髓损伤引起的四肢截瘫患者行为能力取得突破性进展。

TIP | 用于半监督小样本学习的以样本为中心的特征生成方法

该论文发表于IEEE Transactions on Image Processing (TIP)(中科院一区,IF=10.6),题目为《Sample-Centric Feature Generation for Semi-Supervised Few-Shot Learning》。
复旦大学的Bo Zhang为此文第一作者。复旦大学的Tao Chen为此文的通讯作者。
基于几何放大的注意力图卷积网络用于基于骨架的微手势识别
论文概要
微姿势(MG)识别是一项新兴且具有挑战性的任务,由于关节的持续时间短且幅度小所以比常规手势更难识别。为了解决上述问题,针对微姿势骨架数据建模,该论文提出了一种基于几何放大的注意力图卷积网络(MA-GCN)来放大和选择特征。该网络主要由两个模块组成:几何放大模块(GM模块)控制不同关节的放大倍数,空间时间注意力图卷积模块(STA模块)通过对不同关节和帧进行加权选择有效信息,以专注于微妙的运动。作者在两个MG数据集上进行了大量实验证明,其提出的方法取得了显著的性能。
该论文被2023 IEEE International Conference on Image Processing (ICIP)接收,题目为《Geometric Magnification-based Attention Graph Convolutional Network for Skeleton-based Micro-Gesture Recognition》,东南大学的Haolin Jiang为此文的第一作者,东南大学的Wenming Zheng为此文的通讯作者。
基于动作理解的统一多模态无监督表示学习
论文概要
近年来,无监督预训练在基于骨架的动作识别中取得了巨大的成功。现有的研究通常都是采用训练单独的模态特定模型(如关节、骨骼和运动),然后通过后期融合策略集成多模态信息的方法进行动作识别。然而这样的方法在模型设计方面存在复杂冗余的问题,并且受限于固定的骨架输入模态。这篇论文提出了一个统一的多模态无监督表示学习框架,称为UmURL,通过利用高效的早期融合策略联合编码多模态特征以降低模型复杂性,并且进一步提出了模态内一致性学习和模态间一致性学习,以确保多模态特征包含每个模态的完整语义。为了评估所提出的方法的性能,在三个大规模数据集(NTU-60、NTU-120和PKU-MMD II)上进行了广泛的实验,证明了UmURL不仅和单模态方法复杂度相当,而且在骨架动作表示学习的各种下游任务场景中取得了新的最先进性能。
该论文被第 31 届国际多媒体会议(ACM International Conference on Multimedia,ACMMM)接收,题目为《Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding》,浙江工商大学的Shengkai Sun和北京大学的Daizong Liu为此文的共同第一作者,浙江工商大学的Jianfeng Dong为此文的通讯作者。
CSIG云上微表情-第48期-Spot-then-recognize Facial Micro-expressions using Deep Learning
脑机接口技术迈入新纪元:创新突破与市场前景展望
在当今科技界的最前沿,脑机接口(Brain-Computer Interface, BCI)技术正以其创新能力和应用潜力,领导未来科技的发展方向。从Neuralink到微美全息,这一领域的重大进展和市场潜力受到全球瞩目。
