买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安理工大学

摘要：本发明公开了一种融合视觉表观与边缘结构信息的语义分割方法，具体步骤包括：首先，从输入的RGB图像中提取光照鲁棒的边缘图像；其次，融合视觉表观与边缘结构信息的多尺度特征提取；然后，多尺度特征融合；最后，语义分割得到最终的分割掩膜；本发明通过深度融合RGB图像的视觉信息和光照鲁棒边缘图像的结构信息，优化视觉特征提取，增强模型在光照变化下的判别力。同时，结合语义丰富的视觉信息，提升目标语义结构的解析精度。实现高效多尺度特征融合，配备轻量级语义分割头，提升分割模型精度，降低计算复杂度，增强模型的适用性和泛化能力。

主权项：1.一种融合视觉表观与边缘结构信息的语义分割方法，其特征在于，具体包括以下步骤：步骤S1，光照鲁棒的边缘提取：对输入图像Ix,y∈RH×W×3进行光照鲁棒的边缘提取，其中H、W分别表示图像的高度和宽度，具体过程如下：首先，依据Kubelka-Munk材料反射模型的高斯色彩近似模型，并结合人类视觉系统的近似恒定感知光线波长λ＝520nm的特性，由公式1可从Ix,y的红Rx,y、绿Gx,y、蓝Bx,y三个颜色通道中估计出反射光谱Sx,y，及其对波长λ的一阶、二阶偏导数Sλx,y、Sλλx,y： 其次，分别计算Sx,y、Sλx,y、Sλλx,y对变量x、y的偏导数： 其中，表示卷积运算，gxx,y、gyx,y分别是高斯函数gx,y对变量x、y的偏导数，gx,y的均值为0、均方差为1.1；最后，由公式3计算光照鲁棒的边缘图像 步骤S2，融合视觉表观与边缘结构信息的特征提取，具体做法为:S201，对在通道方向上复制构造具有3通道的边缘图像Ex,y∈RH×W×3，并连同视觉图像Ix,y一起输入到融合视觉表观与边缘结构信息的特征提取骨干网络中进行特征提取；S202，构建融合视觉表观与边缘结构信息的特征提取骨干网络；所述步骤S202中特征提取骨干网络的网络结构如下：在第1阶段中，首先采用与SwinTransformer相同的线性嵌入，分别得到视觉流、边缘流tokens：其中C＝96；随后输入第1个视觉-边缘Transformer块进行特征提取，并输出视觉流、边缘流tokens：其中C＝96；在第2阶段中，首先采用与SwinTransformer相同的Patch合并，分别得到视觉流、边缘流输出tokens：随后输入第2个视觉-边缘Transformer块进行特征提取，并输出视觉流、边缘流tokes：在第3阶段中，首先进行Patch合并，分别得到视觉流、边缘流输出tokens：随后输入连续3个视觉-边缘Transformer块进行特征提取，每个视觉-边缘Transformer块输出的视觉流、边缘流tokens分别为：i＝3,4,5；设分别表示后2个视觉-边缘Transformer块的输入tokens；在第4阶段中，首先进行Patch合并，分别得到视觉流、边缘流输出tokens：随后输入第6个视觉-边缘Transformer块进行特征提取，并输出视觉流、边缘流tokes：步骤S3，多尺度特征融合，具体过程如下:首先，对各阶段输出的视频流、边缘流tokens按照公式4进行均值计算、reshape、降维与上采样处理，得到特征映射图k＝1,2,3,4： 其中，avgp,q表示对p、q的对应元素计算均值，reshapep,h,w表示对矩阵p的第1个维度reshape为h×w的矩阵，convp,in,out表示对p进行输入通道数为in、输出通道数为out的1×1二维卷积运算，upp,ratio表示对p进行双线性插值放大ratio倍；其次，按照公式5进行特征融合，得到特征映射图F＝conv_bn_reluconcatF1,F2,F3,F4,4C,C#5其中，concat·表示在通道方向上串接，conv_bn_relup,in,out表示对p先进行输入通道数为in、输出通道数为out的1×1二维卷积，然后进行批归一化和relu非线性激活；步骤S4，轻量级语义分割头:轻量级语义分割头由1个卷积层和2个上采样模块构成，输入特征映射图F后，便可得到最终的分割掩膜结果图像：M∈RH×W×cls，计算过程如公式6所示：M＝conv_upconv_upconvF,C,cls,2,2#6其中，cls为待分割的语义类别数，conv_upp,2表示对p先进行2倍最近邻上采样，然后进行输入、输出通道均为cls的Depthwise二维卷积。

全文数据：

权利要求：

百度查询： 西安理工大学 一种融合视觉表观与边缘结构信息的语义分割方法