买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学

摘要：本发明公开了一种基于图神经网络的图像关键点匹配方法，其步骤为：构建分层注意力图神经网络；生成训练集；训练分层注意力图神经网络；对待预测的图像关键点进行匹配。本发明根据图像中的关键点坐标构造图结构数据，利用分层注意力图神经网络自适应地融合来自不同邻域范围的节点特征，使得匹配模型能够学习到更为通用的层次结构特征。本发明利用图数据增强方法，对待匹配图的节点特征进行随机遮掩来生成增强视图，并利用增强视图和原始视图之间交互式的匹配对模型进行训练，使得本发明具有较强的抗噪能力和准确的匹配精度。

主权项：1.一种基于图神经网络的图像关键点匹配方法，其特征在于，将图像关键点构建为图结构数据，对节点特征进行随机遮掩来生成增强视图，并使用分层注意力图神经网络对图数据进行嵌入；该匹配方法的具体步骤包括如下：步骤1，构建分层注意力图神经网络：步骤1.1，搭建一个十三层的分层注意力图神经网络，其结构依次为：第一图卷积网络层，第一激活函数层，第一注意力层，第二图卷积网络层，第二激活函数层，第二注意力层，第三图卷积网络层，第三激活函数层，第三注意力层，第四图卷积网络层，第四激活函数层，第四注意力层，第一特征融合层；步骤1.2，将分层注意力图神经网络的第一至第四图卷积网络层的维度分别设置为1024，512，256，128，第一至第四激活函数层设置为LeakyReLU函数，第一至第四注意力层的维度全部设置为128；步骤2，生成训练集：步骤2.1，选取至少500对图像，每对图像具有相同的类型和相等的关键点数量；步骤2.2，将每张图像建模为一个与之对应的图数据，每个图数据中的节点总数与之对应图像中的关键点的数量相等；使用Delaunay三角剖分算法，根据每个图像关键点之间的相对位置，生成与该图像对应图数据的邻接矩阵；步骤2.3，将每张图像输入到现有技术中已训练好的VGG-16网络中，VGG-16网络第四层中的第二子层和第五层中的第一子层分别输出每张图像的浅层特征图和深层特征图，对每张图像的所有关键点在浅层特征图中进行双线性插值，得到浅层视觉特征矩阵，采用相同方法，得到深层视觉特征矩阵，将浅层视觉特征矩阵和深层视觉特征矩阵组成该图像对应图数据的节点特征矩阵；步骤2.4，将所有图数据的节点特征矩阵和邻接矩阵组成原始视图，对每个图数据的节点特征进行随机删除，生成扰动节点特征矩阵，将所有图数据的扰动节点特征矩阵和邻接矩阵组成增强视图；步骤2.5，将原始视图、增强视图和所有图像对之间的关键点匹配标签组成训练集；步骤3，训练分层注意力图神经网络：将训练集输入到分层注意力图神经网络中，进行前向传播获得网络的损失值，采用反向传播算法，迭代更新网络的参数，直到分层注意力图神经网络的损失值收敛为止，得到训练好的分层注意力图神经网络；步骤4，对待预测的图像关键点进行匹配：步骤4.1，采用与步骤2和步骤3相同的操作，对待匹配的图像关键点进行特性提取与结构化后输入到已训练好的分层注意力图神经网络，得到待匹配图之间的软匹配矩阵；步骤4.2，利用匈牙利算法，对软匹配矩阵进行离散化，得到待匹配图像对的关键点匹配结果。

全文数据：

权利要求：

百度查询： 西安电子科技大学 基于图神经网络的图像关键点匹配方法