买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明涉及一种面向地库泊车的鲁棒视觉特征匹配和检测方法，包括：采集原始RGB图像对特征点检测深度学习模型进行离线训练，得到训练好的特征点检测模型；将待测的数据输入特征点检测深度学习模型，进行特征点检测，得到对应的特征点检测结果；将待测RGB图像与真值标签输入库位检测深度学习模型进行离线训练，得到训练好的库位检测模型；将待测RGB图像输入库位检测深度学习模型，进行库位检测，得到对应的库位检测结果；将特征点检测结果与库位检测结果进行匹配，得到匹配结果。与现有技术相比，本发明能够在光照昏暗或纹理不明显的情况下检测特征点，从而实现精度较高的定位及建图，进而协助车辆完成自动泊车。

主权项：1.一种面向地库泊车的鲁棒视觉特征匹配和检测方法，其特征在于，包括以下步骤：S1、采集原始RGB图像对特征点检测深度学习模型进行离线训练，得到训练好的特征点检测模型；S2：将待测的数据输入特征点检测深度学习模型，进行特征点检测，得到对应的特征点检测结果；S3：将待测RGB图像与真值标签输入库位检测深度学习模型进行离线训练，得到训练好的库位检测模型，其中，待测RGB图像为待测的数据经过透视变换得到的鸟瞰图；S4：将待测RGB图像输入库位检测深度学习模型，进行库位检测，得到对应的库位检测结果；S5：将特征点检测结果与库位检测结果进行匹配，得到匹配结果；所述原始RGB图像具体是通过单目可见光相机采集得到，所述特征点检测深度学习模型具体为基于UnsuperPoint方法的神经网络模型，步骤S1的具体过程为：S11、采集原始RGB图像；S12、对采集的原始RGB图像进行预处理，以得到成对图像；S13、构建神经网络模型，将成对图像输入神经网络模型中进行离线训练，得到训练好的特征点检测模型；步骤S12具体包括以下步骤：S121、对输入图像Io进行预变换，生成初始图片I′o，其中，预变换包括随机的水平翻转、竖直翻转以及随机裁剪，所述随机裁剪是对图片进行随即缩放并裁剪到一个固定的数值上，以确保批量训练；S122、对初始图片I′o分别进行两组操作，以得到包含两张图像的图像对，同时得到图像对之间的变换矩阵Hk，其中，两组操作中的第一组操作为对图像进行非视角变换，第二组操作为对图像进行视角变换和非视角变换，所述第一组操作与第二组操作的非视角变换的具体操作步骤是不相同的；所述非视角变换为对图像色相进行调整，包括色颤、运动模糊、高斯噪声、随机的光照对比度变换、随机雾化、Gamma变换、通道混叠，这些变换是串联进行操作的，每一种变换都按照设定的概率被使用；所述视角变换为通过在图像的左上、右上、左下、右下四个角落区域随机选择四个点a1,b1,c1,d1，令这四个点与左上、右上、左下、右下四个角点P1,P2,P3,P4分别形成匹配点对a1-P1,b1-P2,c1-P3,d1-P4，从而计算变换矩阵Hk，并对图像应用这个变换，得到视角变换后的图像；S123、对图像对进行后处理，将处理后的图像在通道维度上进行拼接，得到o′1,o′2，所述后处理具体是将图像变成灰度图像，然后分别使用sober_x和sober_y算子，生成x方向梯度图与y方向梯度图，归一化到1，并与原图合并；所述变换矩阵Hk的具体计算过程为：设Hk矩阵形式为： 以匹配点对a1-P1为例，设a1在图像上的坐标为[x1,y1,1]T，P1在图像上的坐标为[X1,Y1,1]T，图像单应性变换关系为：P1＝Hka1进行矩阵运算，有方程式： 一个匹配点对可以形成两个方程，整理全部四个匹配点对所形成的八个方程，可以得到新的等价矩阵计算形式：MH′＝N H′＝[h11h12h13h21h22h23h31h∑2]TN＝[X1Y1X2Y2X3Y3X4Y4]T其中，[x1,y1]T为a1在图像上的坐标，[X1,Y1]T为P1在图像上的坐标，以此类推，[x4,y4]T为d1在图像上的坐标，[X4,Y4]T为P4在图像上的坐标；由等价矩阵计算形式，有：H′＝M-1N即可求解得到变换矩阵Hk的各参数，即可求解得到变换矩阵Hk；步骤S13中构建的神经网络模型包括骨干网络，所述骨干网络用于执行点置信估计、点坐标回归以及描述子提取的联合任务，所述骨干网络分为两个分支：一个分支用于处理原始图像，另一个分支则用于处理经过变换矩阵变换后的图像，提取的点通过变换矩阵的真值投影到同一图像坐标系中，计算每对的点距离，以距离小于阈值Dis的点对作为有效点对，构建点对应关系，以进行自监督学习；所述神经网络模型的学习损失函数具体为：Loss1＝αScoLSco+αDisLDis+αUspLUsp+αRegLReg+αDesLDes+αDecLDec LReg＝LRegx+LRegy LDec＝related_coefficient_sumdes0+realted_coefficient_sumdes1其中，Loss1为特征点检测深度学习模型的总损失函数；LSco为点置信度损失，该损失由关联两点的得分差值的平方表示，αSco为LSco相应的权重；LDis为点对的欧式距离损失，αDis为LDis相应的权重；KUsp为基于点对距离的可重复性损失，si为点对的置信度，di为下标为i的点对的距离，为所有点对的距离均值，αUsp为LUsp相应的权重；LReg为点相对分布均匀性的正则损失，out是特征点所在的图像上方格区域对应的位置输入，下标x、y代表对应的两个位置的相对分量，范围是0-1，上标1、2分别对应第一幅和第二幅图像，o代表第o个特征，argsort代表将其输出排序后，其所在的索引位置，αReg为LReg相应的权重；LDes为描述子的一致性损失，t为一个用于控制惩罚强度的超参数，des的上标1、2代表第一幅和第二幅图像，i以及kk’代表第一幅图的第i个描述子以及第二幅图的第kk’个描述子，des的下标oo’代表这是关联点集的第oo’个描述子，n1表示描述子的总对数，分子中的每对描述子的距离小于8个像素、对应i,k点对，分母中的大于8、对应i,k’点对，αDes为LDes相应的权重；LDec为描述子的相关性损失，related_coefficient_sum函数计算了不同维度之间的相关系数并求和，αDec是LDec相应的权重；将图像对o′1,o′2输入构建的神经网络模型，输入o′1后获得对应的特征点，包括其分数位置以及描述子上标1代表第1张图像o′1，下标k代表第k个特征点；同理输入o′2后获得对应的其中，评分以及描述子分别是对应方格位置的输出，而特征点的位置则需要对网络的位置输出参数进行计算以获得；所述分数、位置、描述子、方格具体为：将图像输入网络后分别从网络的分数输出头、位置输出头以及描述子输出头得到相应输出，假设输入图像尺寸为h,w，那么分数输出头、位置输出头以及描述子输出头的尺寸分别为1,h8,w8,2,h8,w8,256,h8,w8，以上括号中的第一个为通道数，后两个分别输出结果的高度和宽度；假设输入图像的尺寸是24*24，输出的图像被划分成3*3个大小为8*8的方格，每一个方格会有一个分数、两个位置参数以及一个256维的描述子，对应了1,h8,w8,2,h8,w8,256,h8,w8的输出，方格的特征点的评分即这个格子对应的分数输出头的输出，每一个格子有且仅有一个特征点，最终会根据其评分大小确定是否使用；方格的位置，由位置输出头对应的两个通道确定，这两个通道输出的参数在0-1的范围内，对应这个格子中横、纵向的相对位置；方格的描述子由对应的描述子分支的256维向量确定；依此类推，可以得到每一个方格输出的特征点，即它的分数、位置以及描述子。

全文数据：

权利要求：

百度查询： 同济大学 一种面向地库泊车的鲁棒视觉特征匹配和检测方法