买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学

摘要：本发明涉及特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法，包括：获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络。本发明利用特征检测网络，能够以单目图像作为输入，同时进行相机位姿求解和深度图预测，提高增强现实系统处理流程的效率，降低系统对硬件的要求。

主权项：1.一种特征检测网络训练方法，其特征在于，包括：获取包含标注信息的单目图像训练样本，其中，所述标注信息包括所述单目图像训练样本中的每个单目图像对应的实际关键点热图和实际深度图；根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值；根据所述损失函数的值调整所述特征检测网络的参数至满足收敛条件，确定训练完备的特征检测网络；在所述获取包含标注信息的单目图像训练样本，还包括：针对所述每个单目图像，选取若干相同的关键点；将所述若干相同的关键点转化为所述每个单目图像对应的数值矩阵，根据所述数值矩阵确定所述实际关键点热图；采集所述每个单目图像的原始深度图像，并进行填充，确定所述实际深度图；对所述每个单目图像进行图像变换，根据变换后的单目图像、所述实际关键点热图和所述实际深度图进行相应的变换，构建所述单目图像训练样本的增强数据；所述根据所述实际关键点热图和所述实际深度图确定所述特征检测网络的损失函数的值，包括：将所述单目图像训练样本输入至所述特征检测网络，确定所述每个单目图像对应的预测关键点热图和预测深度图；根据所述预测关键点热图和所述实际关键点热图之间的误差以及所述预测深度图和所述实际深度图之间的误差，确定所述损失函数；所述特征检测网络的网络结构包括依次连接的输入层、主干特征提取层、反卷积层，以及分别与反卷积层连接的第一卷积输出层和第二卷积输出层，其中：所述输入层，用于获取输入的所述每个单目图像；所述主干特征提取层，用于对所述每个单目图像采用softpool进行池化操作，并加入自注意力机制模块，输出主干特征图；所述反卷积层，用于对所述主干特征图进行反卷积解码操作，输出反卷积特征图；所述第一卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为热力图估计的所述预测关键点热图；所述第二卷积输出层，用于对所述反卷积特征图进行卷积操作，输出作为深度图估计的所述预测深度图。

全文数据：

权利要求：

百度查询： 华中科技大学 特征检测网络训练、增强现虚实注册跟踪及遮挡处理方法