买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：燕山大学

摘要：本发明涉及一种基于类编解码结构的草图语义分割方法，属于计算机视觉技术领域。具体地，将草图视为二维点集合，通过利用笔画内部结构和采样点的空间位置关系开发了新颖的局部特征聚集模块，该模块编码了丰富的局部特征，并定义了笔画距离，用于兼顾草图的二维空间分布和笔画结构；设计了线段层次自注意力模块用于建立和增强草图线段之间的关系，线段层次自注意力模块更好地描述了草图的内部结构；基于全局注意力机制，提出了末尾具有两个子分支的类编解码结构，包括：点层次子分支和线段层次子分支；最终，两个子分支的输出融合在一起生成语义分割结果。本发明相对于已存在的方法，具有更精准的分割结果和较高的鲁棒性。

主权项：1.一种基于类编解码结构的草图语义分割方法，其特征在于，包括如下步骤：1点格式数据的获取：利用最远点采样法对草图样本进行采样，将草图样本转化为具有N个点的点集合；2构建草图语义分割模型：所述草图语义分割模型包括类编解码结构，所述类编解码结构包括编码阶段和解码阶段，所述编码阶段包括若干个局部特征聚集模块，所述解码阶段包括若干个多层感知机以及末尾的两个子分支，所述末尾的两个子分支包括点层次子分支和线段层次子分支，所述线段层次子分支包括基于多头注意力机制的线段层次自注意力模块；3训练草图语义分割模型：点层次子分支和线段层次子分支分别连接两个交叉熵损失，两个交叉熵损失联合用于引导草图语义分割模型的训练；所述交叉熵损失表示为：L＝Lpoint-level+Lsegment-level 其中，Lpoint-level是点层次交叉熵损失，Lsegment-level是线段层次交叉熵损失；yi,j是一个独热向量，即：当yi,j的语义为k时，yi,j,k为1，而yi,j向量的其他所有元素都为0；4获取草图语义分割结果：将测试的样本输入至步骤3训练好的草图语义分割模型，点层次子分支生成点层次语义分割图，线段层次子分支生成线段层次语义分割图，将点层次语义分割图与线段层次语义分割图融合，获得最终的分割结果；所述步骤2的局部特征聚集模块的内部包含了两个基本处理步骤，包括：使用区域感知过程P获取采样点的周围区域；基于采样点和所获取的周围区域使用特征计算过程C编码采样点的特征；所述区域感知过程P随机使用欧式距离或笔画距离并结合K近邻算法来获取采样点的周围区域；所述笔画距离定义如下： 其中，xi,yi为采样点pi的坐标，xij,yij为pi周围任意一点pij的坐标，si和sij为pi和pij的所属笔画ID，m是一个缩放因子，且m满足以下公式： 其中，w为草图的宽度，h为草图的高度；所述特征计算过程C对pi的周围区域进行编码，编码过程捕捉了草图信息，所述草图信息包括：绝对位置信息、相对位置信息、中间阶段特征、距离信息和笔画信息，具体表示如下： 其中，fi和fij分别为pi和pij的中间阶段特征，distij为pi与pij之间的距离，θij为pi与pij之间的角度，sij为pij的笔画ID，为多层感知机，δ为ReLU函数；所述步骤2的线段层次自注意力模块构建和增强了草图中线段与线段之间的关系，给定线段特征fs，构建和增强线段之间关系的具体步骤为：首先，通过多层感知机和矩阵形变获取相关的查询向量vq和键向量vk，具体过程如下： 其中，为多层感知机，为矩阵形变；依据线段在笔画中的位置pstroke、线段在草图中的位置psketch和查询嵌入字典，得到线段在笔画中的位置嵌入和线段在草图中的位置嵌入，具体过程如下： 其中，是相关字典的查询过程；进一步，将位置嵌入estroke和esketch相加，并将相加结果与查询向量vq相乘，得到线段的位置特征，具体过程如下： 其中，+代表逐元素相加，代表矩阵相乘；进一步，将查询向量vq进行形变与键向量vk相乘得线段的内容特征，详细过程如下： 最终，建立和增强线段与线段关系的线段特征的计算方法如下： 其中，vv代表值向量，softmax为激活函数，fs'为线段层次自注意力模块处理后的线段特征；所述类编解码结构执行的操作为：利用多层感知机使采样点的特征维度先增加后减少；类编解码结构对采样点不执行下采样和上采样操作，采样点的个数在编解码的过程中维持不变；类编解码结构通过收集和连接中间若干阶段的草图特征实现全局多尺度机制。

全文数据：

权利要求：

百度查询： 燕山大学 一种基于类编解码结构的草图语义分割方法