买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明提供了一种基于BundleFusion的三维重建方法，包括使用已训练Mask‑RCNN模型提取识别图像数据集中的动态物体区域，对动态物体区域对应的动态标签进行标签一致性处理，得到一致性掩膜。对一致性掩膜进行膨胀处理，得到膨胀后掩膜。从相机图像中将膨胀后掩膜去除，得到掩膜去除图像。将掩膜去除图像和空间定位数据输入BundleFusion模型进行三维重建，得到三维网格模型。对动态物体区域对应的动态标签进行标签一致性处理，得到一致性掩膜，防止出现上下帧标签不一致和上下帧标签混乱的情况，从而降低出现误检和漏检的概率。膨胀后掩膜全部覆盖动态物体，可以降低动态物体边缘的掩膜覆盖不完全，而导致产生大量的ORB特征或光流特征点，在减少误差的同时保证了点云的生成。

主权项：1.一种基于BundleFusion的三维重建方法，其特征在于，包括：使用已训练Mask-RCNN模型提取识别图像数据集中的动态物体区域；所述动态物体区域即先验掩膜信息；对所述动态物体区域对应的动态标签进行标签一致性处理，得到一致性掩膜；对所述一致性掩膜进行膨胀处理，得到膨胀后掩膜；从相机图像中将所述膨胀后掩膜去除，得到掩膜去除图像；将所述掩膜去除图像和空间定位数据输入BundleFusion模型进行三维重建，得到三维网格模型；所述对所述动态物体区域对应的动态标签进行标签一致性处理，得到一致性掩膜，包括：对当前关键帧对应的所述动态物体区域中的光流特征点赋予第一标签；所述第一标签由遍历所述动态物体区域中的每一个光流特征点的掩膜，赋予每个掩膜标签属性得到；若所述当前关键帧的标签包括动态标签，则将所述当前关键帧中的所述光流特征点与上一关键帧中的所述光流特征点进行匹配；确定上一关键帧中的所述光流特征点的第二标签；所述第二标签由遍历上一关键帧的标签匹配到的光流特征点，确定光流特征点在上一关键帧的掩膜上的标签的属性得到；若所述当前关键帧和所述上一关键帧的所述光流特征点的匹配数大于匹配数阈值，则将所述当前关键帧中的所述光流特征点的所述第一标签修改为所述第二标签；所述对所述一致性掩膜进行膨胀处理，得到膨胀后掩膜，包括：依次从所述一致性掩膜中选出目标像素点；筛选出所述目标像素点周围的多个像素点，得到邻近点集；将所述邻近点集中的每个所述像素点的类型设置为所述目标像素点的类型，得到膨胀后掩膜；所述依次从所述一致性掩膜中选出目标像素点，包括：依次将一致性掩膜上的每一个像素点作为目标像素点。

全文数据：

权利要求：

百度查询： 华南农业大学 一种基于BundleFusion的三维重建方法