买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种基于域迁移融合网络的多摄像头人脸超分辨率方法及系统，将原始真实监控数据集中的人脸图像进行预处理，构建身份对齐图像数据集；构建多摄像头人脸融合超分辨率网络，包括特征配准模块、特征融合模块和权重调节模块；构建基于域迁移融合网络的多摄像头人脸超分辨率网络，利用域迁移架构进行无监督训练；利用训练后的网络模型，输入两张不同模态的低分辨率人脸图像，重建高清人脸。本发明利用多摄像头人脸之间的互补性，既增强了人脸图像主观视觉效果，又保留了人脸输入的身份信息；采用伪孪生结构，充分利用了不同模态摄像头间的信息互补性；采用域迁移架构以适应真实场景，使得超分辨率重建人脸图像质量更佳。

主权项：1.一种基于域迁移融合网络的多摄像头人脸超分辨率方法，包括以下步骤：步骤1，构建数据集，包括将原始真实监控数据集中的人脸图像进行预处理，构建训练域迁移融合网络所需的低质量人脸-高质量身份信息的身份对齐图像数据集；步骤2，构建多摄像头人脸融合超分辨率网络，所述多摄像头人脸融合超分辨率网络包括特征配准模块、特征融合模块和权重调节模块，首先在特征配准模块根据预超分图像获取对应的五官位置掩膜并进行五官特征配准得到配准后的图像；其次，利用权重调节模块在两个配准特征间获取可信权重信息；最后根据进行特征配准后的人脸和可信权重，通过特征融合模块进行自适应融合，获得最终输出人脸；步骤3，构建基于域迁移融合网络的多摄像头人脸超分辨率网络，该网络利用域迁移架构进行无监督训练，将真实监控人脸超分辨率至高清域，将两个域迁移架构组成伪孪生结构，并提出人脸特征识别损失，从损失函数层面上利用不同模态人脸间的身份相关性，嵌入步骤2所得多摄像头人脸融合超分网络，利用不同人脸间的特征相关性，进一步提升超分质量；步骤4，采用训练数据集对基于域迁移融合网络的多摄像头人脸超分辨率网络进行训练，得到训练好的网络模型；步骤5，利用训练后的网络模型，输入两张不同模态的低分辨率人脸图像，重建高清人脸；所述基于域迁移融合网络的多摄像头人脸超分辨率网络包括一个负责生成高质量人脸的人脸融合超分辨率网络、两个用于辅助域回归损失约束的低质量域生成模块、两个用于得到低质量域判别损失的域判别器模块、一个用于得到高质量域判别损失的域判别器和一个辅助生成人脸相似度损失的人脸识别特征提取模块；构建过程包括以下子步骤，步骤3.1，使用人脸融合超分辨率网络对步骤1中的不同模态的低质量人脸图像进行超分辨率增强得到同一高质量域的两张人脸；步骤3.2，将步骤3.1生成的高质量人脸送入低质量域生成模块，使其回归到低质量域获得生成的低质量人脸图像；步骤3.3，分别使用两个低质量域生成模块对步骤1中的高质量人脸图像进行降质回归得到两张不同模态的低质量域人脸；步骤3.4，将步骤3.3生成的低质量人脸送入人脸融合超分辨率网络，使其回归到高质量域获得生成的高质量人脸图像；步骤3.5，将步骤3.1和步骤3.4中生成的高质量人脸送入高质量域判别器模块，分别求高质量域判别损失并更新网络参数；步骤3.6，将步骤3.2和步骤3.3中生成的低质量人脸按对应模态分别送入两个低质量域判别器模块，分别求各个模态的低质量域判别损失并更新网络参数；步骤3.7，将步骤3.1和步骤3.4中的高质量人脸送入人脸识别特征提取模块，提取出对应的人脸识别特征，并在两组特征之间计算身份识别损失函数，更新网络参数；步骤3.8，对步骤3.2和步骤3.4得到的人脸分别于步骤1中得到的人脸分别计算域循环损失，并更新网络参数。

全文数据：

权利要求：

百度查询： 武汉大学 基于域迁移融合网络的多摄像头人脸超分辨率方法及系统