买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种基于语义传播与前背景感知的图像语义分割方法及系统，该方法包括以下步骤：步骤A：收集特定场景的图像样本，并标注每个像素所属的对象类别，构建带类别标签的训练集；步骤B：利用图像增强技术对训练集进行数据增强，得到增强后的训练集SE；步骤C：使用训练集SE训练基于语义传播与前背景感知的深度学习网络模型，用于分析图像中每个像素的语义类别；步骤D：将待分割图像输入到训练后的深度学习网络模型中，输出与原图大小相同的语义分割图，得到语义分割结果。该方法及系统有利于提高图像语义分割的像素准确性与平均交并比。

主权项：1.一种基于语义传播与前背景感知的图像语义分割方法，其特征在于，包括以下步骤：步骤A：收集场景的图像样本，并标注每个像素所属的对象类别，构建带类别标签的训练集；步骤B：利用图像增强技术对训练集进行数据增强，得到增强后的训练集SE；步骤C：使用训练集SE训练基于语义传播与前背景感知的深度学习网络模型，用于分析图像中每个像素的语义类别；步骤D：将待分割图像输入到训练后的深度学习网络模型中，输出与原图大小相同的语义分割图，得到语义分割结果；所述步骤C具体包括以下步骤：步骤C1：将训练集SE中的样本图像的特征图输入深度卷积神经网络，提取高层特征与低层特征的提取，然后送入联合语义传播上采样模块；步骤C2：在联合语义传播上采样模块中，通过语义传播方法，利用高层特征的语义信息指导低层特征增强语义表示，并嵌入到层次上采样结构中，得到分辨率大且富含语义信息的特征图Xout，并送入金字塔前背景感知模块；步骤C3：在金字塔前背景感知模块中，对输入特征提取多尺度的前景上下文特征以及背景上下文特征，并计算出每个前景上下文特征与背景上下文特征之间的依赖关系图，利用依赖关系图与对应的前景上下文特征进行加权，增强前景特征的表示能力，最后融合得到特征图Eout；步骤C4：将Eout输入softmax层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型中的各参数的梯度，并利用随机梯度下降方法更新参数；步骤C5：当深度学习网络模型产生的损失值迭代变化小于设定阈值或迭代达到最大迭代次数，终止深度学习网络模型的训练；所述步骤C2具体包括以下步骤：步骤C21：将输入特征l5通过双线性插值上采样两倍得到l'5，将l'5与l4输入语义传播函数T·进行语义传播，l'5、l4分别作为输入语义传播函数的高层特征与低层特征，将语义传播函数输出的特征向量与l'5进行融合得到输出特征l54； 其中，为逐像素加法；步骤C22：将输入特征l4通过双线性插值上采样两倍得到l'4，将l'4与l3输入语义传播函数T·进行语义传播，l'4、l3分别作为输入语义传播函数的高层特征与低层特征，将语义传播函数输出的特征向量与l'4进行融合得到输出特征l43； 步骤C23：将输出特征l54通过双线性插值上采样两倍得到l'54,将l'54与l43输入语义传播函数T·进行语义传播，l'54、l43分别作为语义传播函数的高层特征与低层特征，将语义传播函数输出的特征向量与l'54进行融合得到输出特征l543； 步骤C24：将输入特征l3通过一个3×3卷积层以提取更细粒度的特征表示，然后与步骤C22输出特征l43、步骤C23输出特征l543按通道维度进行拼接，即所有特征空间维度保持一致，将所有通道合并在一起，组合成一个新的特征，得到输出特征Xout，空间维度与l3相同，通道维度为l3通道数的三倍；Xout＝concatε1l3,l43,l543#其中，为逐像素加法，ε1为3×3卷积操作，concat·表示按通道维度拼接；步骤C25：将Xout输入前背景感知模块；所述步骤C3具体包括以下步骤：步骤C31：将输入特征Xout通过四个并行的不同尺寸的空洞卷积，提取出四个不同的前景特征；qi＝atrousXout；ri,i＝[1,2,3,4]r＝{r1,r2,r3,r4}＝{1,6,12,18},Q＝{q1,q2,q3,q4}其中，Q为前景特征集合，atrous·为空洞卷积操作，r为空洞率，C为通道个数，是输入特征Xout通道数的18，H、W为空间尺寸大小，与输入特征Xout空间尺寸相同；步骤C32：背景特征由最大池化分支以及平均池化分支获得，其中最大池化分支由四个并行的不同尺寸的最大池化层及1×1卷积层组成，平均池化分支由四个并行的不同尺寸的平均池化层及1×1卷积层组成，将Xout输入两个分支后得到8个背景特征，将其按空间平铺展开并拼接在一起得到最后的背景特征B；mbi＝ρiMpoolXout；bi,i＝[1,2,3,4]abj＝τjApoolXout；bj,j＝[1,2,3,4b＝{b1,b2,b3,b4}＝{1,2,3,6},MB＝{Flatmb1,Flatmb2,Flatmb3,Flatmb4AB＝{Flatab1,Flatab2,Flatab3,Flatab4}B＝concat2AB,MB其中，B为拼接后的背景特征，C为通道数量，是输入特征Xout通道数的18，S表示背景区域个数，根据背景区域划分计算；bi为背景划分区域个数；Apool、Mpool为平均池化操作和最大池化操作；Flat表示将特征向量按空间平铺展开，即保持通道维度不变，将空间维度变换为一维，MB与AB集合中的特征维度均为concat2为空间拼接操作，即通道维度保持一致，将所有空间维度合并在一起，组合成一个新的特征；ρ、τ表示1×1卷积操作；步骤C33：将前景特征q1通过形状变换成即将前景特征q1的空间尺寸由H×W变换成1×N，N＝H×W,将特征向量q'1的转置与背景特征B进行矩阵乘法，并通过softmax函数激活，得到依赖关系图之后通过线性插值得到最后的依赖关系图计算过程如下： M1＝InterpolationM1步骤C34：前景特征与依赖关系图通过矩阵乘法对前景特征进行激励与约束，得到鉴别能力更强的特征A'1经过形状变换得到后与融合得到最后的输出特征，记为前背景感知特征A′1＝αq′1×M1A″1＝reshapeA′1 其中，α初始值置为0，通过模型学习得到一个分配权重；步骤C35：分别对前景特征q2，q3，q4采用步骤C33与步骤C34的操作，得到前背景感知特征A2，A3，A4；步骤C36：将输入特征Xout通过全局池化分支以捕获全局上下文特征G，全局池化分支由平均池操作、1×1卷积和双线性插值组成，计算公式如下：G＝bilinearδApoolXout；1其中，Apool为平均池操作，1表示最后输出的空间尺寸为1×1、δ表示1×1卷积且输出通道数与输入特征Xout相同，bilinear为双线性插值操作；步骤C37：将前背景感知特征A1，A2，A3，A4与全局上下文特征G按通道进行拼接，即所有特征空间维度保持一致，将所有通道合并在一起，组合成一个新的特征，之后通过1×1卷积，减少通道数量，同时加入DropOut层保证模型的泛化能力，获得语义特征图Eout；Eout＝ε2concatA1,A2,A3,A4,G其中ε2表示1×1卷积，concat按通道维度进行拼接。

全文数据：

权利要求：

百度查询： 福州大学 基于语义传播与前背景感知的图像语义分割方法及系统