买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明涉及一种改进胶囊网络的人脸表情识别方法，包括步骤：获取待识别人脸图像；将所述待识别人脸图像输入MFFAM‑CapsNet网络进行识别，获得所述待识别人脸图像所属的表情类别。相对于现有技术，本发明提供一种改进胶囊网络的人脸表情识别方法，其中MFFAM‑CapsNet网络的MCAFM模块通过针对胶囊的注意力机制融合多层次胶囊特征，能够放大其中对人脸表情识别贡献大的胶囊特征的权重，缩小贡献小的胶囊特征的权重，从而增大人脸表情的类间差异，缩小人脸表情的类内差异，有效提高人脸表情识别准确率。

主权项：1.一种改进胶囊网络的人脸表情识别方法，其特征在于，包括步骤：获取待识别人脸图像；将所述待识别人脸图像输入基于多层次特征融合注意力机制的胶囊网络，MFFAM-CapsNet网络，进行识别，获得所述待识别人脸图像所属的表情类别；其中，所述MFFAM-CapsNet网络包括MFEM模块、MCAFM模块和分类预测模块，所述MFEM模块用于对待识别人脸图像进行多层次的人脸图像特征提取；所述MCAFM模块包括空间注意力子模块、通道注意力子模块、主胶囊子模块、动态路由子模块和加权融合子模块，所述空间注意力子模块用于根据所述人脸图像特征获得基于空间域的空间特征图；所述通道注意力子模块用于根据所述空间特征图获得基于通道域的通道特征图；所述主胶囊子模块用于根据所述通道特征图获得初步胶囊特征；所述动态路由子模块用于根据所述初步胶囊特征通过动态路由算法获得预测胶囊特征；所述加权融合子模块用于根据所述预测胶囊特征通过自注意力机制计算预测胶囊特征的权重，同时将获得的权重与对应的预测胶囊特征相乘，并将同一待识别人脸图像对应的具有权重的多个预测胶囊特征相加，获得总胶囊特征；所述分类预测模块用于根据总胶囊特征获得所述待识别人脸图像所属的表情类别；其中，所述分类预测模块用于根据总胶囊特征获得每一表情类别的预测结果向量，确定模最长的所述预测结果向量对应的表情类别为所述待识别人脸图像所属的表情类别；所述MFFAM-CapsNet网络还包括参数调整模块，所述参数调整模块包括损失反馈子模块，所述损失反馈子模块用于建立损失函数，并通过所述损失函数反馈到所述MFFAM-CapsNet网络的反向传播的网络参数更新中；其中，所述参数调整模块还包括解码器，所述解码器用于根据所述预测结果向量进行所述待识别人脸图像的重建，获得重建人脸图像；所述损失函数的表达式为：L＝0.95*Lc+0.05*Lr+Liaf其中，L为损失函数；Lc为边际损失函数，所述边际损失函数Lc的表达式为：Lc＝Tcmax0，m+-||vc||+λ1-Tcmax0，||vc||-m-2式中，c为表情类别；Tc为表情类别c的指示函数，当c不为空时Tc为1，当c为空时Tc为0；m+为上边界；m-为下边界；vc为表情类别c的预测结果向量；λ为用于调整权重的超参数；Lr为重建损失函数，所述重建损失函数Lr的表达式为： 式中，m为所述待识别人脸图像的数量；xi为m个所述待识别人脸图像中的第i个所述待识别人脸图像；为与第i个所述待识别人脸图像对应的所述重建人脸图像；Liaf为改进的亲和损失函数，改进的亲和损失函数Liaf的表达式为： 式中，M为所述待识别人脸图像的数量；为第yi个表情类别的类中心，yi∈{1，2，...，K}，K为表情类别总数，类中心从d维高斯分布中随机抽样；xi为M个待识别人脸图像中的第i个深层人脸图像特征；σc为K种不同表情类别的类中心之间的标准差。

全文数据：

权利要求：

百度查询： 华南师范大学 改进胶囊网络的人脸表情识别方法及装置