买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北大学

摘要：一种基于深度学习的壁画人物语义分割方法，对基于卷积神经网络CNN和Transformer的语义分割技术进行研究。1）鉴于目前缺乏针对壁画人物图像的公开可用的高质量语义分割数据集，构建一个多类别壁画人物语义分割专用数据集。2）考虑到Transformer模型凭借其自注意力机制在处理图像全局上下文信息方面的优越性，经典的卷积神经网络CNN在有效提取图像局部特征以及构造局部连续性的边缘信息方面具有一定的优势，受Conformer启发，提出一种基于CNN与Transformer的双分支特征融合网络模型DTFB_Net。3）在DTFB_Net的基础上，提出一种基于统一焦点损失与感受野注意力的改进网络模型DTFBR_Net。用于缓解构建的多类别壁画人物语义分割专用数据集存在的类别不平衡的问题和进一步提升底层特征的提取能力。

主权项：1.一种基于深度学习的壁画人物语义分割方法，其特征在于，包括以下步骤：1壁画语义分割数据集的构建：由于壁画语义分割数据集的匮乏，所以需要针对当前研究建立一个壁画语义分割数据集；通过相关壁画公开画册和互联网公开资源筛选出一定数量的壁画图片，保证图片的可用性，所得结果为原始壁画数据集；其次进行相应的裁剪和标签标注，先利用半标注软件进行标注，省去一部分的人力，后保证图片像素标签的准确性进行人工标注，并将标注好的数据集分成训练集和测试集两部分，形成壁画图像语义分割数据集；最后因数据集规模较小易造成网络过拟合的问题，对训练集数据进行数据增强，生成更多的训练数据，提高模型的泛化能力和鲁棒性；2基于去噪概率扩散模型的壁画分割模型：去噪扩散概率模型DDPM，DenoisingDiffusionProbabilisticModels，在原有扩散概率模型数学架构基础上进一步改进，实现了高分辨率条件下的图像生成，使得扩散模型受到广泛关注；去噪扩散概率模型可分为前向过程也称前向扩散过程、加噪过程等和逆向过程也称逆向扩散过程、逆向去噪过程等两部分，前向过程是一个逐步加噪的过程,在前向过程的每一步,向样本的数据分布中添加高斯噪声；通过不断地加入高斯噪声,使得原有的样本数据分布转换为一个简单的标准高斯分布；逆向过程是一个去噪的过程,从标准高斯分布中进行采样,每一步去除一个很小的高斯噪声,逐步贴近真实数据分布,进而得到其真实数据分布中的样本,从而达到生成数据的目的；3基于去噪概率扩散模型的壁画二类分割模型原有的去噪概率扩散模型常用于最先进的图像生成领域，为了将此模型应用于图像分割领域；提出一种扩展此模型的方法用以图像分割：对于去噪的每个步骤，有三个输入，分别是去噪前的预测分割图xt，原始图片，时间步长t；去噪前的预测分割图xt经过嵌入时间步长t的编码器A提取特征，原始图片经过编码器B提取特征，将经过编码器处理后的两个特征相加输入到编码解码器中得到去噪后的预测分割图xt-1；循环这个过程执行T次，直到得到最终的预测分割图x0；其中编码器A和编码器B具有类似的结构，都是由两个ResNetBlock构成，其中编码器A需要将时间步长嵌入到模块中：编码器解码器利用U-Net的思想并使用上文提到的ResNetBlock设计出一个类U-Net架构，即一个对称的编码器解码器结构；4对比实验：设计对比实验将本文提出的模型与其他壁画二类分割模型MC-DM[23]、PSP-M[1]等从主观和客观两个角度进行评价，一方面是由文化遗产保护人员根据自己的主观感受对图像分割质量进行评估，反映了人的视觉感受；另一方面在像素准确率PixelAccuracy,PA、交并比Intersection-Over-Union，IOU、Dice系数DiceCoeffcient三个主流图像分割的客观评价指标进行对比；5基于去噪概率扩散模型的壁画多类分割模型提出一种基于去噪概率扩散模型的壁画多类分割模型，将收集到的相关壁画人物图像作进一步精细化的分割，分割为5个主要部分，包括人物的服饰、头饰、身体、面容、器物；前半部分根据噪声函数qx0|xt对原始图片x0不断加噪得到xt，由生成式的方式训练模型参数；然后从噪声预测器∈Θxt,t中提取特征图，具体的做法是将不同块block中的特征抽取出来，并进行上采样，所有特征在拓展到与原始图像大小后拼接到一起，这一组特征就会作为像素级别的图像表征；再将这一组特征送到一组多层感知机MLP组成的分类器中去，最后通过投票区分每个像素的语义标签；其中噪声函数qx0|xt的公式为：其中噪声预测器∈Θxt,t预测的是步骤t处的噪声分量；MLP架构分类器中使用具有两个隐藏层MLP，具有ReLU非线性激活函数和批量归一化。

全文数据：

权利要求：

百度查询： 西北大学 一种基于深度学习的壁画人物语义分割方法