买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明提供了一种基于误差感知的多视图三维重建方法、介质及设备；其中方法为：获取多视图图像；提取出K种不同尺度的多视图特征；采用包括K个阶段的深度预测模型分别对多视图特征进行处理；每个阶段对应一种尺度的多视图特征；各个阶段的分步骤分别包括可微分单应变换、代价体聚合、代价体正则化和深度回归；基于最后一个阶段得到的预测深度图，完成三维重建。该方法采用误差感知深度表示，将深度信息解耦为相对于深度假设平面的置信度和偏移量，并关注于不同的深度假设平面的挖掘与利用，使得模型具备误差感知能力以进行更为精确的深度估计，进而得到更为准确且完整的三维场景表示。

主权项：1.一种基于误差感知的多视图三维重建方法，其特征在于：包括如下步骤：步骤S1、获取多视图图像及对应的相机参数；步骤S2、采用多尺度特征提取网络FPN对多视图图像提取出K种不同尺度的多视图特征；其中，K≥3且K为整数；步骤S3、采用深度预测模型分别对多视图特征进行处理；深度预测模型包括按顺序进行的K个阶段；每个阶段对应一种尺度的多视图特征，且前一阶段的多视图特征尺度＜后一阶段的多视图特征尺度；各个阶段的分步骤分别包括可微分单应变换、代价体聚合、代价体正则化和深度回归；所述可微分单应变换是指：基于一系列深度假设平面对输入的多视图特征进行可微分单应变换；所述代价体聚合是指：对变换后的特征进行聚合得到代价体C；所述代价体正则化是指：对代价体C进行正则化生成误差感知深度表示的置信度与偏移量所述深度回归是指：基于误差感知深度表示的置信度与偏移量进行回归得到预测深度图；所述可微分单应变换中，第一个阶段的一系列深度假设平面是指：通过在多视图特征的深度范围进行均匀采样得到的一系列深度假设平面；第二个以后阶段的一系列深度假设平面是指：以前一阶段得到预测深度图作为初始深度、前一阶段初始深度范围的一半作为深度范围来设置一系列深度假设平面；所述深度预测模型是指经过训练的深度预测模型；训练过程中，基于各个阶段得到的预测深度图的预测深度值与真实深度图的真实深度值，生成误差感知深度表示的置信度标签ysp和偏移量标签yop，并且采用误差感知损失监督深度预测模型的学习过程；步骤S4、基于最后一个阶段得到的预测深度图，结合对应的相机参数，将参考视角对应的初始图像像素点反投影到三维空间，在反投射过程中利用多视角之间的一致性约束过滤像素点，从而生成最终的三维点云，完成三维重建。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于误差感知的多视图三维重建方法、介质及设备