买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明公开了一种基于脑电图和微表情的多模态情绪识别和意识检测方法，具体包括如下步骤：特征提取，关注多通道脑电信号的关联并提取微表情特征，通过特征层对脑电图和微表情进行特征融合，形成多模态特征；对于脑电图特征，处理步骤如下：a、对原始脑电信号进行预处理，包括剔除伪影、滤波和成分去除；b、预处理后，根据输出大小将每个通道的脑电图数据分割成不重叠的1秒间隔，以提取脑电图特征；通过脑电图和微表情的多模态融合特征进行情绪识别，并用距离来衡量意识障碍患者和正常人情绪表达之间的差距，来区分意识状态的好坏程度，起到意识状态辅助检测的目的。

主权项：1.一种基于脑电图和微表情的多模态情绪识别和意识检测方法，其特征在于：具体包括如下步骤：步骤一：特征提取，关注多通道脑电信号的关联并提取微表情特征，通过特征层对脑电图和微表情进行特征融合，形成多模态特征；对于脑电图特征，处理步骤如下：a、对原始脑电信号进行预处理，包括剔除伪影、滤波和成分去除；b、预处理后，根据输出大小将每个通道的脑电图数据分割成不重叠的1秒间隔，以提取脑电图特征；步骤二：构建情绪识别模型，选择SwinTransformer作为模型的骨干网络，在定制SwinTransformer时，模型优化补丁大小和网络深度，使之与特征张量的维度相一致；确保了STST模型符合情感识别任务的要求，并能充分发挥SwinTransformer架构的潜力；步骤三：情绪对比指标，将准确性作为基准，将其模型性能与其他已有方法进行比较，在情绪分类方面的功效提供了一个量化的衡量标准；步骤四：实验数据集，在公开数据集上，在多模态数据集MAHNOB-HCI上检测其情绪识别准确率；步骤五：实验数据预处理，使用了公开数据集和自采数据集，并对这两种数据集采用了一致的数据预处理流程，以确保结果的可比性和稳健性；步骤六：实验参数设置，提取DE作为脑电模态的输入，提取连续的人脸图像序列作为微表情模态的输入；它们的输入大小分别为56×56×5；脑电图模态表示5个脑电图频带，微表情模态表示在0.2秒内均匀连续变化的5幅人脸图像；在公共数据集上验证了本方法的可行性，然后在健康受试者的数据上进行预训练，并在MCS患者的数据上进行微调；最后，在UWS患者的数据上计算评估指标。

全文数据：

权利要求：

百度查询： 华南师范大学 一种基于脑电图和微表情的多模态情绪识别和意识检测方法