买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军国防科技大学

摘要：本申请涉及一种基于对比学习的多模态人脸识别方法、装置、设备及介质。所述方法包括：根据卷积神经网络和残差网络分别对人脸平面图像和人脸轮廓图像进行特征提取，得到人脸平面特征图和人脸轮廓特征图，将人脸平面特征图和人脸轮廓特征图进行交叉组合，得到多模态融合特征；根据对比学习方法对多模态融合特征进行增强表示，得到多模态特征表示；利用3D卷积网络对多模态特征表示进行特征分析，得到人名对应的概率分布；根据人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，根据训练好的人脸识别模型进行人脸识别。采用本方法能够提高人脸识别准确率。

主权项：1.一种基于对比学习的多模态人脸识别方法，其特征在于，所述方法包括：获取待识别的人脸图像；所述人脸图像包括人脸平面图像和人脸轮廓图像；构建人脸识别模型；所述人脸识别模型中包括卷积神经网络、残差网络、3D卷积网络、全连接层和SoftMax层；根据卷积神经网络对所述人脸平面图像进行特征提取，得到人脸平面特征图；利用残差网络对所述人脸轮廓图像进行特征提取，得到人脸轮廓特征图；将所述人脸平面特征图和所述人脸轮廓特征图进行交叉组合，得到多模态融合特征；根据对比学习方法对所述多模态融合特征进行增强表示，得到多模态特征表示；利用3D卷积网络对所述多模态特征表示进行特征分析，得到人名对应的概率分布；根据所述人名对应的概率分布和标注的人名标签构建交叉熵损失函数，利用所述交叉熵损失函数和对比学习中的损失函数对预先构建的人脸识别模型进行训练，得到训练好的人脸识别模型；根据所述训练好的人脸识别模型对所述待识别的人脸图像进行人脸识别；根据对比学习方法对所述多模态融合特征进行增强表示，得到多模态特征表示，包括：选择待识别人的其他面部平面图像和轮廓图像作为正例样本，选择其他人的面部平面图像和轮廓图像作为负例样本，对所述正例样本和负例样本进行特征提取，分别得到正例样本的人脸平面特征图和人脸轮廓特征图和负例样本的人脸平面特征图和人脸轮廓特征图；将所述正例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到所述正例样本的多模态融合特征，将所述负例样本的人脸平面特征图和人脸轮廓特征图进行交叉组合，得到所述负例样本的多模态融合特征；根据对比学习方法增加待识别的人脸图像对应的多模态融合特征与所述正例样本的多模态融合特征的相似度，减少与所述负例样本的多模态融合特征的相似度，得到多模态特征表示；利用3D卷积网络对所述多模态特征表示进行特征分析，得到人名对应的概率分布，包括：利用3D卷积网络对所述多模态特征表示进行特征分析，得到人名对应的概率分布为 其中，Fr＝ReLUFCf＝max0,WTf+b，Fr表示多模态特征表示，f为特征向量，W为可训练的参数矩阵，b为偏置项，pj表示当前所识别人脸是第j个人的概率，为多模态特征的第j个特征参数，为多模态特征的第i个特征参数。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于对比学习的多模态人脸识别方法、装置、设备及介质