恭喜东南大学达飞鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜东南大学申请的专利一种基于类间差异强化网络的人脸表情识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114241564B 。
龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111555614.2,技术领域涉及:G06V40/16;该发明授权一种基于类间差异强化网络的人脸表情识别方法是由达飞鹏;蒋倩设计研发完成,并于2021-12-17向国家知识产权局提交的专利申请。
本一种基于类间差异强化网络的人脸表情识别方法在说明书摘要公布了:本发明公开了一种基于类间差异强化网络的人脸表情识别方法,步骤如下:收集数据集,对数据集进行预处理;分析表情相似度关系;利用相似度信息构建并行分支网络分别提取全局特征和同于区分相似表情的细粒度特征;将提取的特征分别送入全连接层降维,并进行特征融合,经分类器输出表情类别;添加类平衡加权损失函数,以此扩大类间距。本方法充分利用表情相似度信息,提取细粒度特征,有效地提高了人脸表情分类效果。
本发明授权一种基于类间差异强化网络的人脸表情识别方法在权利要求书中公布了:1.一种基于类间差异强化网络的人脸表情识别方法,其特征在于,包括以下步骤:步骤1:从网络上获取公开数据集并进行图像预处理以及样本增强;步骤2:进行先验实验分析表情相似度关系,将7类基本表情划分到两个强关联集;步骤3:设计并行网络结构,网络由主干网络BBN和强化分支DRN组成,将步骤1中得到的数据送入并行网络中,主干网络用于提取全局高层语义特征,强化分支用于提取相似表情细粒度特征;步骤4:将步骤3中得到的高层语义特征和相似表情细粒度特征经全连接层降维后进行特征融合,经分类器输出人脸表情类别;步骤5:基于有效样本数理论,设计类平衡加权损失函数,通过在Cross-EntropyLoss的基础上对多数类和稀有类赋予不同的权重,抑制类间竞争,缓解多数类作用于稀有类的负样本监督信号,扩大表情特征的类间距;所述步骤1的具体方法为:所述公开数据集为FER2013数据集和RAF-DB数据集,首先对数据集进行预处理,利用MTCNN人脸检测算法检测出图像中的人脸区域,将其从原始图像中裁剪出来,缩放到统一尺寸224×224,针对单通道图像,通过复制法将单通道图片转化为三通道图片,并采用随机裁剪、随机水平翻转的方法进行数据增强;所述步骤3的具体方法为:所述网络结构以ResNet34网络模型为基础,在网络中嵌入多个轻量级的注意力机制模块,构建主干网络,主干网络BBN以原始图片作为输入,学习全局高层语义特征,强化分支放置在主干网络的第二个残差块和第三个残差块之间并分化为两个分支,分别对不同强关联组包含的表情类别进行进一步地细粒度特征提取,其中具体的构建并行神经网络的方法为:步骤3.1:ResNet34网络中部由4个残差Block串联而成,每个Block分别包含3,4,6,3个残差结构,所述主干网络将尺寸为224×224×3的原始图像作为输入,在每两个Block之间嵌入轻量的联合注意力模块LMAM,提取得到全局高层语义特征;步骤3.2:步骤3.1中所述LMAM由SAM和CAM组成,尺寸为c×h×w的特征图F输入到LMAM中,经SAM学习各个空间位置间的关系,再经CAM获取不同通道的权重,得到最终特征图;SAM首先利用AvgPool对输入特征图F进行压缩,得到尺寸为1×h×w的空间维度全局特征,再依次经过5×5卷积,MaxPool,3×3卷积后缩小特征尺寸,经上采样处理后恢复原尺寸,最后经Sigmoid激活,得到尺寸为1×h×w的空间注意图MSA,将MSA和F进行逐元素相乘,得到被空间注意图优化过的特征图FSA表示为:MSA=SAMF=δUpsamplefconv-poolAvgPoolx1 其中:fconv-pool表示5×5卷积,MaxPool,3×3卷积串联结构,δ表示Sigmoid激活操作;步骤3.3:将FSA输入到CAM中进一步获取不同channel的权重信息,首先利用AvgPool和MaxPool分别对FSA进行压缩,再分别经双层全连接层处理后,得到两个尺寸为c×1×1的通道特征MCA_Avg和MCA_Max,将MCA_Avg和MCA_Max进行逐元素相加后,经Sigmoid激活,得到空间注意力图MCA,将MCA和F进行逐元素相乘,生成被空间注意图和通道注意图双重优化过的特征图FLMAM表示为:MCA=CAMF=δfFC1AvgPoolFSA+δfFC2MaxPoolFSA3 其中:fFC1和fFC2表示双层全连接层,δ表示Sigmoid激活操作;步骤3.4:强化分支网络DRN由两个结构相同的小分支并联组成,分别对不同强关联集内的表情类别进行强化处理,每个分支由ResNet34中第三个残差Block和一个CAM构成细粒度特征提取单元,提取到的相似表情差异细粒度特征表示为: 其中:FDRN1和FDRN2分别表示分支1和分支2提取到的相似表情细粒度特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:210000 江苏省南京市麒麟科创园智识路26号启迪城立业园04幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。