买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学青岛研究院;北京航空航天大学

摘要：本发明所述基于体素模型与颜色信息耦合的三维语义分割方法，由三维CNN网络提取三维TSDF体素信息并结合三维重建过程中采集到的RGB图像，通过通道信息融合策略而直接实现端到端的三维语义分割，从而实现为三维重建技术之后的相关AR应用提供有力支持。三维语义分割方法包括有以下实施阶段：1、二维RGB图像处理阶段；2、三维TSDF体素模型处理阶段；3、双通道信息融合及三维信息处理阶段。对于二维及三维信息进行融合；利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。

主权项：1.一种基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：包括以下实施阶段，1、二维RGB图像处理阶段针对于多个视角下的RGB图像，将多视角下的RGB图像送入backbone网络中，提取高维度图像二维特征信息；获得当前帧映射到世界坐标系下的相机姿态信息；利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重；2、三维TSDF体素模型处理阶段首先，进行前端三维模型重建，将输入的RGB图像中的depth信息融入到TSDF模型中；其次，采取符号距离函数对整个TSDF体素模型进行计算；然后，使用三维卷积神经网络初步提取三维特征；将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的特征；3、双通道信息融合及三维信息处理阶段对于二维及三维信息进行融合；利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果；所述的二维RGB图像处理阶段，在获得当前帧映射到世界坐标系下的相机姿态信息中，利用三维重建或者SFM技术通过多视角几何方法进行计算；所述的二维RGB图像处理阶段，在所述的RGB通道选择模块中，首先，将输入特征进行全局池化；然后，将全局池化后的结果利用1*1大小的卷积层进一步提取特征；之后，利用batchnormalization规范化特征的相关分布；最后，通过sigmoid激活函数处理，得到该模块提取出来的不同视角RGB特征的权重，并与输入特征进行点乘操作，得到输入特征加权后的结果。

全文数据：

权利要求：

百度查询： 北京航空航天大学青岛研究院 北京航空航天大学 基于体素模型与颜色信息耦合的三维语义分割方法