买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明提出了一种基于多重感受野交融网络的偏振三维重建方法和系统。利用全局感受野提取输入图像数据的全局上下文信息，为解决偏振成像问题中的局部歧义提供参考信息，同时利用局部感受野提取区域细节特征，以提升对目标表面的纹理细节信息的重建精度，多重感受野不断交互融合，从而实现高精度表面法向量估计。采用Conformer作为网络编码器，实现兼顾全局感受野和局部感受野的特征提取，同时利用一个多模融合模块实现全局上下文信息和区域细节特征的有效融合，并利用一个多尺寸增强模块减少高层特征在降维过程中的通道信息损失。实验表明本发明方法优于已有方法的结果，能高质量地重建目标表面信息，细节信息重建能力更强，更具备泛化性。

主权项：1.一种基于多重感受野交融网络的偏振三维重建方法，其特征在于，包括如下步骤：步骤一，获取目标物体和目标场景分别在不同偏振角度的偏振图像，根据得到的不同偏振角度的偏振图像计算得到包含无偏振图像、偏振度和偏振角的偏振表示图组；步骤二，构建用于偏振三维重建的多重感受野交融网络，所述多重感受野交融网络包括编码器Conformer、多尺度增强模块、多模融合模块和解码器，并将计算得到的偏振表示图组与对应的视觉编码作为输入；所述编码器Conformer包括CNN分支和Transformer分支，CNN分支通过卷积运算提取局部特征细节，Transformer分支用于提取全局上下文信息；CNN分支和Transformer分支在编码过程中输出多个不同尺度的特征，除了最高层特征外，每个尺度下通过一个特征耦合单元，以交互的方式融合相同尺度的局部特征和全局表示得到融合特征，并作为下一阶段的输入，以此获得不同尺度的综合特征；所述多尺度增强模块用于对CNN分支输出的最高层特征进行特征增强；所述多尺度增强模块采用若干个不同比率的空洞卷积，在扩大感受野的同时保持分辨率和相对空间位置，之后通过自适应加权融合模块将多尺度上下文信息注入降维后的高层特征，减少高层特征在降维过程中的通道信息损失，所述的自适应加权融合模块由卷积层，ReLU激活函数层，卷积层，Sigmoid激活函数层组成；多模融合模块用于将Transformer分支输出的最高层特征与增强后的CNN分支输出特征进行特征融合，得到融合后的特征；所述多模融合模块利用特征图生成模块对Transformer分支输出特征进行降维处理和形状调整，再与CNN分支输出的特征融合，并利用SE注意力机制模块实现Transformer分支输出的全局上下文信息和CNN分支输出的区域细节特征的进一步有效融合，所述的特征图生成模块由LayerNorm层，全连接层，形状调整和上采样层，Softmax激活函数层组成；多尺度增强模块中，将Conformer的CNN分支输出的最高层特征作为输入，采用3个不同比率的空洞卷积对输入特征进行计算，并将结果特征拼接，实现过程表示为：Fconcat＝[Γ1C,Γ2C,Γ3C]其中：Γ1，Γ2，Γ3分别表示不同比率的空洞卷积运算，C为输入多尺度增强模块的特征，即输入特征，Fconcat为拼接后的特征；将拼接的特征送入自适应加权融合模块后将得到的结果与拼接的特征进行矩阵乘法运算，所述的自适应加权融合模块由1×1卷积层，ReLU激活函数层，3×3卷积层，Sigmoid激活函数层组成，其中ReLU激活函数为： 其中，x即拼接后得到的特征Fconcat经1×1卷积层处理后得到的特征；Sigmoid激活函数为： 其中，x’为拼接后得到的特征Fconcat经1×1卷积层，ReLU激活函数层，3×3卷积层处理后得到的特征；自适应加权融合模块的实现过程表示为： 其中：WF表示自适应加权融合模块，Fresult为得到的多尺度上下文信息，表示矩阵乘法运算；输入特征依次通过卷积层，BatchNorm层，ReLU激活函数层实现高层特征的降维处理，并将得到的结果与多尺度上下文信息逐点相加，实现过程表示为：M＝ΛCEM＝M+Fresult其中：Λ表示降维处理过程，M为降维处理得到的结果，EM为增强后的CNN分支输出特征；最后将融合后的特征以及CNN分支中除最高层特征外的其余不同尺度的综合特征进行降维后输入到解码器中输出表面法向量估计结果；步骤三，结合损失函数训练多重感受野交融网络，并利用训练好的网络实现偏振图像的三维重建。

全文数据：

权利要求：

百度查询： 武汉大学 一种基于多重感受野交融网络的偏振三维重建方法和系统