买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开了基于Kernel‑Free匹配的真实双摄参考超分方法，涉及图像信号处理技术领域。基于Kernel‑Free匹配的真实双摄参考超分方法，包括如下步骤：S1、建立真实参考超分数据集；S2、设计基于Kernel‑Free匹配的真实双摄参考超分模型；S3、利用深度学习Pytorch框架训练模型；S4、向模型中输入广角图像和长焦图像数据对，输出广角图像超分后的结果；本发明利用提出的Kernel‑Free匹配方法将真实双摄参考超分的性能提升到了新的高度。

主权项：1.基于Kernel-Free匹配的真实双摄参考超分方法，其特征在于，具体包括以下步骤：S1、建立真实双摄参考超分数据集：利用智能手机双摄，同时拍摄广角图像和长焦图像，采用由粗到细的对齐策略来创建对齐良好的LR-HR数据对，对数据对进行裁剪、颜色矫正处理，制作数据集；S2、构建双摄参考超分模型：基于深度学习技术，设计中心形变对齐策略、Kernel-Free匹配策略、四周形变对齐模块、单图超分模块及自适应融合模块，构建双摄参考超分模型；S3、训练模型：利用深度学习Pytorch框架训练S2中所构建的双摄参考超分模型，重复遍历S1中所构建的真实双摄参考超分数据集直到模型收敛；S4、输出结果：将S1中获得的真实双摄参考超分数据集中的广角图像和长焦图像数据对输入到训练完的模型中，获得超分后的广角图像；所述S1具体包括如下内容：S1.1、使用智能手机通过双摄软件分别拍摄广角图像和长焦图像，其中，拍摄长焦图像时，镜头的焦距为拍摄广角图像时的两倍；S1.2、使用SIFT和RANSAC计算最优的单应矩阵，将广角图像和长焦图像进行粗对齐；S1.3、使用Deepflow进行精细对齐；S1.4、利用颜色校正，使长焦图像和广角图像具有相似的颜色；然后裁剪出重叠区域，生成LR-HR数据对；S1.5、裁剪出长焦图像的中心区域作为Ref图像数据，最终得到LR-HR-Ref数据对；所述S2具体包括如下内容：S2.1、设计一种中心形变对齐策略，将参考图与广角图像中心区域对齐，获得广角图像中心区域的高清特征；S2.2、设计一种Kernel-Free匹配策略，匹配广角图像的四周和中心，将索引映射到经过中心形变对齐后的参考图，获取广角图像四周的高清特征；S2.3、利用单图超分模块提取广角图像的特征，并结合高清特征，经过自适应融合模块得到最终的重建结果；所述中心形变对齐策略包括以下内容：S2.1.1、给定广角图像ILR和它的参考IRef，确定两者之间的重叠区域；S2.1.2、使用SIFT寻找匹配点，使用RANSAC来过滤离群点，并计算得到单应性矩阵，将该矩阵应用于IRef并生成形变对齐后的参考S2.1.3、裁剪ILR中对应于的区域，并将其命名为广角图像的中心区域，记为ILRC；S2.1.4、利用DCN进行精细的形变对齐，对进行下采样，使其与ILRC具有相同的尺度；S2.1.5、利用预训练的Spynet计算和ILRC之间的光流f；S2.1.6、利用上采样光流f↑引导DCN将的特征与ILRC的特征对齐，生成精细对齐的特征；所述Kernel-Free匹配和四周形变对齐模块包括以下内容：S2.2.1、利用非局部相似性，在四周区域外的中心区域找到类似的内容；S2.2.2、提出将广角图像四周区域与广角图像中心区域进行匹配，将其表述为Kernel-Free匹配；S2.2.3、对于ILR的四周区域的查询块，在ILRC中搜索最匹配的块；S2.2.4、Kernel-Free匹配在VGG提取的特征空间中进行，将特征密集划分为大小为3×3的块，每个块间距为1，计算每个块对之间的余弦相似度Si,j；S2.2.5、索引Mi和置信度Ci由以下公式获得： S2.2.6、将索引映射到Ref中，提取HR中匹配的块；所述单图超分模块包括以下内容：S2.3.1、将广角图像的单图超分辨率任务与参考图像的纹理转移任务耦合会引入干扰，因此，将单图超分辨率任务解耦为一个单独的模块，该模块由ResBlocks组成；S2.3.2、提取的特征被上采样以对齐参考特征的大小；所述自适应融合模块包括以下内容：S2.4.1、形变对齐后的参考特征和广角图像特征FLR是互补的，利用自适应融合模块将两者融合在一起；S2.4.2、引入匹配过程中的置信度来指导自适应融合，且仅融合其高频部分整个过程被表述为： S2.4.3、C表示置信度图，g表示卷积运算，·表示逐元素乘法；Φ表示自适应融合块，由具有空间和通道注意力的ResBlocks组成。

全文数据：

权利要求：

百度查询： 天津大学 基于Kernel-Free匹配的真实双摄参考超分方法