买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西藏民族大学

摘要：本发明提供一种基于多级自适应CNN与混合Transformer的唐卡图像修复方法、系统及存储介质，涉及图像复原技术领域，包括：S1.采集待修复唐卡的图像，并对所述待修复唐卡的图像进行缩放，将图像的尺寸统一调整为224*224大小，获得第一图像；S2.通过多级自适应CNN对所述第一图像进行局部特征提取。本发明通过混合Transformer能够更好地捕捉到全局的上下文信息，避免了融合特征时图像仍然存在缺失的问题，保障了图像修复的完整性，利用多级自适应CNN和混合Transformer相结合的方法，不仅可以进行图像局部特征的提取，还可以进行图像全局特征的提取，继而可以处理复杂的图像修复，有效恢复唐卡上的绘画细节，从而使修复的图像更加准确和自然。

主权项：1.一种基于多级自适应CNN与混合Transformer的唐卡图像修复方法，其特征在于，具体步骤包括：S1.采集待修复唐卡的图像，并对所述待修复唐卡的图像进行缩放，将图像的尺寸统一调整为224*224大小，获得第一图像；S2.通过多级自适应CNN模块对所述第一图像进行局部特征提取，并将局部特征发送给混合Transformer模块，通过混合Transformer模块对所述第一图像进行第一全局特征提取并输出特征图，然后对所述输出的特征图采用阈值分割，确定图像中的缺失区域；S3.对所述缺失区域使用双边滤波器进行滤波，统计256个级别中每个级别的像素点的频次构成直方图，并对所述直方图进行数据处理，生成第二图像，通过混合Transformer模型对第二图像进行全局特征建模，并输出第二全局特征；S4.通过空间频域块模块对输出的所述第二全局特征进行融合，生成融合特征，并通过降维模块和扩维模块对融合特征进行处理，生成第三图像；S5.采用1x1的卷积层将所述第三图像的深度转换为目标图像的通道数，并输出目标图像，对输出的所述目标图像进行处理，生成修复后图像；在步骤S2中，通过CNN模块提取第一图像的局部特征的过程如下：将第一图像利用小核卷积层提取局部特征，所述局部特征包括边缘特征和纹理特征，小核卷积层采用的公式为下式：Fjb＝HconvBT+HconvWT其中，Fjb为局部特征，Hconv·为3×3卷积层，BT为边缘特征，WT为纹理特征；在提取局部特征之后，将所述局部特征Fjb传递给CNN模块；在多级自适应残差特征块模块对局部特征Fjb处理时，假设多级自适应残差特征块模块的数量为M，则第m个多级自适应残差特征块模块的输出可表示为下式： 其中，为第m个多级自适应残差特征块模块，Fm为第m个多级自适应残差特征块模块的输出；将多级自适应残差特征块模块的输出合并发送到混合Transformer中，提取第一全局特征，所述第一全局特征包括形状特征和结构特征，假设混合注意力机制模块的数量为N，则第n个混合注意力机制模块的输出可表示为下式： 其中，为第n个混合注意力机制模块，Fn为第n个混合注意力机制模块输出的第一全局特征，||为m个多级自适应残差特征块模块拼接；在步骤S3中，通过混合Transformer模型对第二图像进行全局特征建模的过程如下：特征提取：首先，从第二图像中提取第二全局特征，通过一个预训练的混合Transformer模型来实现，该模型接受第二图像作为输入，并输出图像的高级语义特征表示；Transformer编码器：使用Transformer编码器来对第二图像的特征进行编码，Transformer编码器将输入特征序列分别映射到一组查询向量、键向量和值向量，并利用自注意力机制来建模输入特征序列之间的依赖关系；多层编码器堆叠：堆叠多个Transformer编码器层，每一层都包含多头自注意力机制和前馈神经网络，用于捕获图像特征的不同抽象级别和空间关系；全局特征建模：在编码器的最后一层，利用自注意力机制聚合所有输入特征，并生成第二全局的特征；特征池化：将生成的第二全局特征，使用平均池化减少特征维度，并提取出最具代表性的特征；特征输出：最后，将经过特征池化的第二全局特征作为模型的输出；通过降维模块和扩维模块对融合特征FFF进行处理，加强局部特征的过程如下：降维模块利用1×1卷积将特征图像的通道数减少一半，而扩维模块利用1×1卷积恢复特征图通道数，采用残差函数，通过动态调整特征图通道数的大小，加强局部特征提取，依据的公式如下：Y＝αx·FFF+αres·HexHreX其中，αres为降维的比例因子系数，αx为扩维的比例因子系数，αresαx0，且αres+αx＝1，Hre·和Hex·为降维操作和扩维操作，FFF为残差函数的输入，Y为残差函数的输出。

全文数据：

权利要求：

百度查询： 西藏民族大学 一种基于多级自适应CNN与混合Transformer的唐卡图像修复方法、系统及存储介质