买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国矿业大学

摘要：一种基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法，先将相邻两帧图像分别输入进基于几何特征匹配网络、基于SIFT特征匹配网络以及回环检测网络得到图像多模态特征匹配关系；再将特征匹配关系输入进RANSAC的单应性估计器得到多模态单应性变换矩阵以及表示矩阵估计确定性协方差矩阵；再使用基于位姿图的联合优化方式，优化多模态单应性变换矩阵；最后使用优化后的矩阵进行图像拼接得到全景图像。本发明能够将SIFT的不变性以及效率高的优势与深度学习能捕捉更丰富的特征信息的优势结合起来，在保证图像拼接效率的同时，更准确地估算单应性矩阵，提升了整体铁塔天线全景图像拼接的准确性和稳定性。

主权项：1.一种基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法，其特征在于，包括以下步骤：S1：使用摄像机采集铁塔天线图像数据，要求相邻两张图像的重叠区域面积占到整幅图像的14至12，得到图像序列，记为I，设图像序列为：I＝{I0,…,Ii,Ii+1}，式中：0,…,i,i+1表示图像序列号；S2：通过不同特征匹配网络获得图像几何特征对应关系以及图像SIFT特征对应关系，使用闭环检测网络来判断摄像机是否重访了之前的场景；S3：将图像几何特征对应关系以及图像SIFT特征对应关系输入进单应性估计器生成相关的单应性变换矩阵，并且每个估计的变换矩阵都与一个协方差矩阵相关联，代表估计的确定性；S4：通过构建位姿图来实现单应性变换矩阵的联合优化，根据优化后的单应性变换矩阵进行图像拼接，得到全景图像；步骤S2中，以图像对的方式同时放入基于深度学习的几何特征匹配网络NGeo以及基于SIFT特征匹配网络NSIFT，分别得到图像几何特征对应关系MGeo以及图像SIFT特征对应关系MSIFT，在闭环检测网络NLC中，只将第一帧记为关键帧，再计算关键帧与其他帧的对应关系，记为MLC，来判断摄像机是否重访了之前的场景；步骤S2中获得图像几何特征对应关系以及图像SIFT特征对应关系具体为：S21：输入图像序列I＝{I0,…,Ii,Ii+1}，对于几何特征匹配网络NGeo，流程是使用Res2Net网络提取图像对{Ii,Ii+1}的多尺度特征fi＝{fi1,fi2,fi3,…,fin}，fi+1＝{fi+11,fi+12,fi+13,…,fi+1n}，其中，高维尺度特征经过粗匹配模块得到像素与像素粗略匹配Mc，并使用GeoFormer相应地识别输入图像对之间的潜在匹配区域，使用标准Transformer框架，GeoFormer以稀疏方式计算自注意力，同时，以集中的方式计算交叉注意力；通过两种注意力对粗略匹配Mc中的匹配点进行过滤，然后将过滤后的匹配点馈送到精细匹配模块，生成的精细匹配，即图像几何特征对应关系MGeo；S22：输入图像序列I＝{I0,…,Ii,Ii+1}，对于SIFT特征匹配网络NSIFT，流程是使用SIFT算法提取的特征描述子，在不同图像中寻找最相似的描述子，再通过计算描述子之间的相似性度量，就能找到在不同图像中对应的特征点，这些匹配的特征点对表示了在不同图像中具有相似视觉特征的位置，从而建立了图像特征点之间的匹配关系，即图像SIFT特征对应关系MSIFT；S23：输入图像序列I＝{I0,…,Ii,Ii+1}，对于闭环检测网络NLC，序列中的第一帧记为关键帧Ikey，然后从关键帧Ikey中提取的SIFT关键点特征，并且关键帧的SIFT特征使用库存储；将计算关键帧与其他帧之间的相似度，以检查摄像机是否重访了之前的场景，并且使用SIFT算法得到关键帧与其他帧的对应关系MLC，上述对应关系MGeo、MSIFT和MLC具体定义为： 其中：关键帧Ikey＝I0；步骤S3具体为：将图像几何特征以及图像SIFT特征对应关系输入进RANSAC的单应性估计器FRANSAC生成几何特征匹配的单应性变换矩阵HGeo、SIFT特征匹配的单应性变换矩阵HSIFT和闭环检测的单应性变换矩阵HLC，上述单应性变换矩阵HGeo、HSIFT和HLC；具体定义为： 同时，每个估计的变换矩阵都与一个协方差矩阵Σ相关联，代表估计的确定性；使用RANSAC方法识别离群值和异常值，离群值和异常值的识别是基于一幅图像中的一个点与另一幅图像中通过对应单应性变换矩阵重新投影的对应点之间的像素距离，几何特征匹配的单应性变换矩阵的协方差是根据离群值的比率计算的；SIFT特征匹配的单应性变换矩阵的小协方差以及闭环检测的单应性变换矩阵的协方差是根据离群值比率和特征数量共同计算的；所述步骤S4具体为：S41：将需要优化的位姿图构建为Φ＝{V,E}，其中V＝{x0,x1,x2,...,xn}是顶点集，E＝{y0,1,y1,2,y2,3,...,yLC}是边集，y是由估计的单应性变换矩阵共同组成，x表示的第i幅图像相对于关键帧Ikey图像的变换，构成了需要估计的状态；边集定义了顶点对之间的约束条件，这些约束条件是由从单应性变换矩阵共同组成；S42：对位姿图进行优化后能够得到最终进行图像拼接的优化后的单应性变换矩阵具体定义为： S43：所有图像都能够根据序列中的中间帧进行拼接，得到全景图像。

全文数据：

权利要求：

百度查询： 中国矿业大学 基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法