买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种基于多尺度与深层细粒度特征增强的表情识别方法，包括：构建多尺度双池化特征聚合模块，该模块由多尺度特征提取、多尺度关键特征选择和多尺度特征聚合三部分组成，通过骨干网络IR50获取四阶段的多尺度特征，并结合通道注意力机制提取多尺度表情特征中的全局有效信息，以捕捉和融合面部不同尺度的信息，从而获取全面的面部关键特征表示；引入关键区域导向的注意力机制，通过自适应地调整关注区域，提高了模型对面部细节特征的敏感度，更多地关注面部表情的细微差别，进一步增强对多尺度深层次的细粒度特征表示；通过融合多尺度和深层细粒度注意力增强特征，获取更为丰富和准确的面部关键信息，从而实现对面部表情的精准分类。

主权项：1.一种基于多尺度与深层细粒度特征增强的表情识别方法，其特征在于，包括如下步骤：1首先将表情图像输入到骨干网络IR50中获取不同尺度下的面部表情特征{L1,L2,L3,L4}；2引入一种通道注意力特征选择机制，包括：2-1先对输入的多尺度表情特征Li采用全局最大池化和全局平均池化，其中，i＝1,2,3,4，接着从共享的多层感知机SharedMLP中学习通道维度的特征和各个通道的重要性，然后对SharedMLP输出的结果进行相加操作，并通过sigmoid激活函数进行映射处理，得到通道注意力权重Wc，如公式1所示：Wc＝sigmoidMLPAvgPoolLi+MLPMaxPoolLi1，2-2将输入的多尺度表情特征Li与通道注意力权重Wc相乘，得到通道注意力选择特征Qi，其中，i＝1,2,3,4，如公式2所示： 公式2中，AvgPool·表示全局平均池化，MaxPool·表示全局最大池化；3获取通道注意力选择特征{Q1,Q2,Q3,Q4}后，采用四个全局平均池化层，将每个特征图的空间维度压缩为一个单一的值，即计算每个通道的全局平均值，得到{G1,G2,G3,G4}，采用向量拼接的方式将G1,G2,G3,G4融合，生成同时具有全局视觉信息和细粒度视觉信息的多尺度通道注意力聚合特征Fm，如公式3所示：Fm＝ConcatG1,G2,G3,G43，公式3中，Concat·表示向量拼接，G1,G2,G3,G4表示经过全局平均池化层后空间维度变为1×1的通道注意力选择特征；4对深层细粒度特征L4应用于关键区域导向的注意力机制：先对输入特征图中的每个patch进行查询、键和值的线性变换，如公式4-公式5所示： 公式4-公式5中，i表示第i个patch，l表示第l个注意力头，分别表示每个patch的查询、键和值矩阵，分别表示的权重矩阵；5再将输入特征图划分成m×m个不重叠的区域，每个区域包含个向量，并将每个区域中所有patch的查询和键的均值作为该区域的查询和键，如公式7-公式8所示： 公式7-公式8中，j表示第j个区域，表示第j个区域的查询和键；6对每个区域的查询和其它所有区域的键值进行矩阵乘法运算，计算各个区域间的关联程度并采用topnIndex逐行索引算子为每个区域保留关联程度最大的前topn个区域的索引如公式9-公式10所示： D＝topnIndexM10，公式9-公式10中，·T表示矩阵转置，的第i行包含与第i个区域最相关的前topn个区域索引，其中，1≤topn≤m2，m＝7；7每个区域的所有patch和该区域前topn个关联程度最大的区域中的所有patch执行多头自注意力机制，如公式11-公式14所示： MHSAQil,Kil,Vil＝Concathead0,head1,...,headhWo13，Rout＝MHSAQil,Kil,Vil+lpecVil14，公式11-公式14中，Attention·为单头注意力分数函数，softmax·表示归一化函数，为缩放因子，headr表示第r个注意力头的输出注意力分数，MHSA·为输出多头自注意力值，Concat·为向量拼接，表示将所有注意力头的输出注意力分数聚合以获取最终的注意力分数，为权重矩阵，Rout表示L4经过关键区域导向的注意力机制后的输出结果，lpec·表示局部位置增强编码；8获取注意力特征Rout后，将注意力特征Rout输入自适应平均池化层，将每个通道的空间维度压缩为1×1，即将每个通道的特征值压缩为单一值，随后，对池化后的特征进行展平操作，转换为一维特征向量Fdl，即深层细粒度注意力增强特征；9采用向量拼接将多尺度通道注意力聚合特征Fm和深层细粒度注意力增强特征Fdl进行融合，如公式15所示，获取更为丰富和准确的面部关键信息Ft，最终，将Ft送入全连接层，实现对面部表情的精准分类：Ft＝ConcatFm,Fdl15，公式15中，Concat·表示向量拼接。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于多尺度与深层细粒度特征增强的表情识别方法