买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种基于对比学习与StyleGAN2的近红外‑可见光人脸图像合成方法，其步骤包括：1、收集成对的近红外‑可见光人脸图像并进行统一的人脸检测和归一化的预处理，从而获得数据集图像；2、引入对比学习机制，构建包含基于StyleGAN2结构的生成器、判别器、图像多层特征提取块在内的生成网络模型；3、结合适当的损失函数和优化函数，利用训练集图像训练生成网络模型；4、输入待测的近红外人脸图像对生成网络模型进行测试，最终合成相应的可见光人脸图像。本发明能使得合成的可见光图像更加贴近真实图像，能够更好地还原人脸图像的面部边缘细节和肤色信息，从而提高合成图像的视觉效果和跨模态人脸识别的性能。

主权项：1.一种基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法，其特征在于，包括以下步骤：步骤1、收集成对的近红外-可见光人脸图像并进行统一的人脸检测和归一化的预处理，从而获得数据集图像；步骤1.1、用光学相机和近红外相机分别采集M个人的可见光与近红外异构人脸图像并构建数据集；步骤1.2、利用MTCNN人脸检测方法检测所述数据集中的人脸位置并定位人脸关键点，再以人脸位置为中心对图像进行裁剪，得到尺寸为n×n的人脸图像并作为训练集；将所述训练集中的近红外人脸图像记为近红外域X，可见光人脸图像记为可见光域Y；步骤2、构建基于对比学习与StyleGAN2的生成网络模型，包括：基于StyleGAN2网络结构的生成器G、判别器D、图像多层特征提取块T；步骤2.1、基于StyleGAN2网络结构的生成器G，包含：编码器Genc、特征解纠缠、解码器Gdec；其中，编码器Genc由m个样式块依次串联构成，用于实现下采样操作；所述特征解纠缠由m个全连接层依次串联构成；所述解码器Gdec由m个样式块逆向串联构成，用于实现上采样操作；所述样式块包含调制、卷积、解调与实例归一化操作层；步骤2.1.1、所述近红外域X中任取一张尺寸为n×n的近红外人脸图像x并输入所述编码器Genc中进行映射处理后，得到潜在空间Z中的潜在向量z，z∈Z；步骤2.1.2、所述潜在向量z进行归一化后，再通过所述特征解纠缠模块映射为潜在空间W中的潜在向量w，w∈W；步骤2.1.3、所述解码器Gdec对所述潜在向量w进行合成，得到尺寸为n×n的合成的伪可见光人脸图像Gx；步骤2.2、所述判别器D为PatchGAN结构，并从近红外人脸图像x中遍历固定尺寸的图像块进行真假的判别，从而得到所有判别结果的矩阵并组成判别矩阵，以所述判别矩阵的均值作为对近红外人脸图像的评价；步骤2.3、所述图像多层特征提取块T是由编码器Genc′和一个两层MLP网络H构成；所述编码器Genc′与生成器G中的编码器Genc的结构相同；步骤2.3.1、使用所述编码器Genc′提取近红外人脸图像x中S个固定尺寸的图像块的特征，并选择所述编码器Genc′中的前L个样式块所提取到的图像块的特征输入所述两层MLP网络H中，从而由两层MLP网络将所有图像块的特征投影为近红外特征集并输出，其中，zl表示第l个样式块输出的所有图像块的特征所投影的近红外特征；l∈[1,L]，L∈[1,m]；步骤2.3.2、从合成的伪可见光人脸图像Gx中选取位置s上的图像块记为查询样本，并将近红外人脸图像x中相应位置s上的图像块记为查询样本的正样本，其他位置的图像块记为查询样本的负样本；s∈{1,…,S}；根据特征集将查询样本的正样本在第l个样式块中的特征记为负样本的特征记为S\s表示除相应位置s上的图像块以外其他图像块的位置；步骤2.3.3、按照步骤2.3.1的过程，得到合成的伪可见光人脸图像Gx中所有图像块的特征投影后的可见光特征集其中，表示第l个样式块输出的所有图像块所投影的可见光人脸特征；l∈[1,L]；步骤3、结合损失函数和优化函数，利用训练集训练生成网络模型；步骤3.1、对近红外人脸图像x和合成的伪可见光人脸图像Gx仅裁剪出面部区域，再利用式1构建面部边缘增强损失LFEE： 式1中，分别为近红外人脸图像x和合成的伪可见光人脸图像Gx经裁剪后的面部区域所提取的边缘图像；步骤3.2、利用式2构建多层对比损失LMLC： 步骤3.3、利用式3构建同一性损失Lidt：LidtG＝||Gy-y||13式3中，y表示所述可见光人脸图像中任意一张可见光人脸图像；Gy表示可见光人脸图像y输入到所述生成器G所输出的图像；步骤3.4、利用式4在生成器G与判别器D之间构建对抗性损失LGAN：LGANG,D,X,Y＝logDy+log1-DGx4步骤3.5、利用式5构建总的损失函数Ltotal：Ltotal＝λFEELFEE+λMLCLMLC+λidtLidt+λGANLGAN5式5中，λFEE、λMLC、λidt、λGAN分别为各损失项的权重参数；步骤3.6、基于所述训练集，使用Adam优化策略对生成网络模型进行训练，直至总的损失函数Ltotal收敛，得到最优生成网络模型；步骤4、将待测的近红外人脸图像输入到最优生成网络模型，从而输出合成的可见光人脸图像。

全文数据：

权利要求：

百度查询： 合肥工业大学 基于对比学习与StyleGAN2的近红外-可见光人脸图像合成方法