买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜复旦大学申请的专利基于协同特征补全的有遮挡场景下的人脸表情识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114821714B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210370651.4，技术领域涉及：G06V40/16；该发明授权基于协同特征补全的有遮挡场景下的人脸表情识别方法是由颜波;谭伟敏;邢稹;何瑞安设计研发完成，并于2022-04-10向国家知识产权局提交的专利申请。

本基于协同特征补全的有遮挡场景下的人脸表情识别方法在说明书摘要公布了：本发明属于数字图像处理技术领域，具体为一种基于协同特征补全的有遮挡场景下的人脸表情识别方法。本发明联合遮挡物抠除与特征补全来应对遮挡给表情识别带来的影响，具体步骤包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全。实验结果表明，本发明能检测出破坏人脸完整性的遮挡物并识别该图像对应的表情类别。

本发明授权基于协同特征补全的有遮挡场景下的人脸表情识别方法在权利要求书中公布了：1.一种基于协同特征补全的有遮挡场景下的人脸表情识别方法，其特征在于，包括：使用遮挡物抠除模块检测并抠除人脸遮挡图像中的遮挡物；根据成对的无遮挡图像生成类别激活图以确定表情识别时具有判别性的区域；结合类别激活图与遮挡物位置掩码生成最终需要进行特征补全区域的掩码，在对应无遮挡图像中间特征图的指导下进行特征补全；具体步骤为：1构建无遮挡图像分类模块，作为整个网络的一个分支，仅在网络训练阶段使用，用于：对无遮挡人脸表情图像进行分类，获取该图像属于不同类别的概率分布，确定对表情判别较为重要的区域以及为有遮挡图像特征补全及分类模块的特征补全提供指导；2构建遮挡物抠除模块，用于检测并抠除人脸遮挡图像中的遮挡物；3构建有遮挡图像特征补全及分类模块，作为整个网络的另一个分支，用于对抠除遮挡后的人脸表情图像进行特征补全和分类，获取该图像属于不同类别的概率分布；步骤1中，所述无遮挡图像分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层GAP和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5stage分别包含3、4、6、3个残差块；记C3stage输出的中间层过渡特征为hclean，C5stage之后、全局平均池化层之前的特征图为f，全连接层对应的权值矩阵为w；该无遮挡图像分类模块用于对输入的无遮挡人脸表情图像xclean进行分类，获取该图像属于不同类别的概率分布并生成该图像对应真实表情类别yGT的类激活图具体表示为： 其中，为全连接层对应权值矩阵中对应类别yGT的第k个单元的取值；fku,v为特征图f在空间位置u,v处第k个单元的激活值；对进行上采样至hclean大小并做最大最小归一化处理，得到对其进行二值化，设定二值化阈值Tkey，得到表情判别重要区域的二值掩码MCAM： 其中，Tkey为二值化阈值；MCAM中每个位置的像素值表示hclean中对应位置的像素属于表情判别重要区域的概率值；步骤2中所述遮挡物抠除模块采用U-Net结构，包括3个卷积块、3个残差块和3个反卷积块；其中，每个卷积块包含一个卷积层、实例归一化层及ReLU激活函数；卷积层中步长为2，用于降低特征图分辨率；反卷积块中包含一个反卷积层、实例归一化层及ReLU激活函数，用于对特征图进行上采样；残差块由两个堆叠的基础卷积块和跳跃连接构成，其中每个基础卷积块包含一个卷积层、实例归一化层及ReLU激活函数；残差块不改变特征图分辨率；记有遮挡人脸表情图像为xocc，将其输入遮挡物抠除模块后得到一张与xocc大小相同的掩码Morigin；对Morigin进行最大最小归一化处理，得到M′origin，设定二值化阈值Tmask，计算最终的二值掩码Mocc： 其中，Mocc为指示遮挡物位置及形状的二值掩码，其中每个位置的像素值表示原图中对应位置的像素不是遮挡物的概率；然后，将有遮挡人脸表情图像xocc与二值掩码Mocc做逐像素乘法，得到抠除遮挡物之后的人脸表情图像xfilter；步骤3中所述有遮挡图像特征补全及分类模块采用ResNet-50的结构，具体包括卷积层、全局平均池化层GAP和全连接层；其中，卷积层分为5个stage，依次记为C1、C2、C3、C4、C5，相对应地，其提取的特征由浅层纹理特征过渡到深层语义特征；C1stage包含一个卷积层、批归一化层和ReLU激活函数，用于对输入图像的预处理；C2,C3,C4,C5stage分别包含3、4、6、3个残差块；记C3stage输出的中间层过渡特征为hocc；将抠除遮挡物之后的人脸表情图像xfilter作为该有遮挡图像特征补全及分类模块输入，结合步骤1给出的中间特征图hclean、表情判别重要区域的二值掩码MCAM和步骤2中给出的二值掩码Mocc对xfilter进行特征补全和分类，获取该图像属于不同类别的概率分布其中：对抠除遮挡后的人脸表情图像xfilter进行特征补全的方法如下：将遮挡物抠除模块生成的遮挡物掩码Mocc缩放至hclean的大小，得到M'occ，而后融合无遮挡图像分类模块生成的表情判别重要区域的掩码MCAM与M'occ，得到最终需要进行特征补全区域的二值掩码Mfuse：Mfusex,y＝M′occx,y|MCAMx,y，4其中，|表示逻辑或；然后，利用二值掩码Mfuse确定特征补全区域，以无遮挡图像中间特征图hclean指导有遮挡图像中间特征图hocc的特征补全，对应的特征补全损失函数如下： 其中，表示逐元素乘法。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。