买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东华大学

摘要：本发明涉及一种基于多尺度特征融合和多层注意力的桥梁裂缝检测方法，包括步骤：收集裂缝图像集，划分成训练集和测试集；构建桥梁裂缝检测网络模型，包含编码器和解码器，对于特征提取阶段，其模型结构包含多个卷积层；在编码器部分，该模型以Mobilenetv2网络模块为主干网络，采用嵌套多层注意力的空洞空间金字塔池化结构，解码器部分采用多尺度特征融合模块和结合BottleneckTransformer的高低级特征自适应加权特征融合模块结构，上采样后得到匹配输入图像分辨率的预测图；解决了传统图像处理方法对裂缝图像识别存在误检、精度不足、鲁棒性或泛化性差的问题，可以有效提升检测精度和模型的泛化能力。嵌套多层注意力的空洞空间金字塔池化结构，提高了对裂缝特征的抽取效果。

主权项：1.一种基于多尺度特征融合和多层注意力的桥梁裂缝检测方法，其特征在于，包括以下步骤：步骤1收集不同环境下的裂缝图像集来获取更多样化和广泛覆盖的样本，将收集到的样本划分成训练集和测试集两个部分；步骤2构建基于高效特征融合和多层注意力的桥梁裂缝检测网络模型；该模型包含一个为了在传输或存储过程中更有效地表示和处理桥梁裂缝图像的丰富的特征信息数据而将这些特征信息数据转换为特定编码形式的编码器，和一个将该编码器编码后的数据重新转换为原始裂缝图像数据的解码器，这两个部分以串行的方式进行构建；对于特征提取阶段，其模型结构包含多个卷积层，每个卷积层后分别连接一个批规范化层和激活函数层，激活函数采用线性修正单元ReLU函数，卷积核与权重等参数采用方差为0.01的高斯随机函数初始化方式；在编码器部分，该模型以Mobilenetv2网络模块为主干网络在一定程度上保持模型轻量并保证特征提取能力，采用嵌套多层注意力的空洞空间金字塔池化结构，精确地提取桥梁裂缝图像中的丰富的特征信息数据；解码器部分采用多尺度特征融合模块和结合BottleneckTransformer的高低级特征自适应加权特征融合模块结构，自适应加权特征融合模块将从编码器末端提取的高级特征与多尺度特征提取模块提取的低级特征策略性融合，加强特征提取效果，从而增强桥梁裂缝的分割效果；最后将得到的图像上采样4倍，得到匹配输入图像分辨率的预测图；步骤3训练网络；首先将训练样本集以一定批次的方式依次送入步骤2中构建的模型，训练样本依次通过模型的编码器和解码器两个部分；然后对模型训练的动量参数、权重衰减、批量大小、学习率、训练的epoch做出一定的调整，以达到良好的训练效果；最后，将三个均方差线性结合作为损失函数，并对丰度矩阵进行L2正则化约束，反向传播迭代训练模型，调整模型参数，在每次迭代过程中，利用乘法规则微调端元矩阵，直至收敛；步骤4测试模型；将测试样本集送入步骤3中训练好的模型中，得到相应的测试生成结果；步骤5评估算法性能；基于提出模型的三项改进进行消融实验和整体的对比实验得到的桥梁裂缝检测结果，同时通过MIoU，IoU，F1分数这些相关的评价指标来衡量算法的有效性，改进模型的损失曲线、MIoU曲线也在实验中被记录并反映实验效果；其中，步骤2中的结合BottleneckTransformer的高低级特征自适应加权特征融合模块结构具体为：首先，编码器输出的高级特征通过4倍线性上采样，以匹配低级特征图的分辨率，生成上采样后的特征图F4H，如式1所示；随后，将上采样后的高级特征和低级特征在通道维度上进行拼接，得到FL-4H,如式2所示；然后，如公式3和4所示，然后，将拼接后的特征输入到BottleneckTransformer模块，再通过Conv1×1和ReLU激活函数生成空间特征图WR；F4H＝fUp4FH1 WL-4H＝fConv1×1fTransFL-4H3WR＝δWL-4H4其中FL表示低级特征图，FH表示高级特征图，表示特征连接，表示双线性插值；对低层特征FL和空间特征图WR进行自适应加权特征融合得到WW-Add，如公式5所示；这样可以更有效地定位目标对象，并利用空间细节获得更精细的形状和边界信息；之后，加权特征和高级特征被直接合并；然后由此产生的特征图经过卷积运算，得到如公式6所示的细化和集中的融合特征；最后，对这一输出进行上采样，以匹配输入图像的分辨率，从而生成预测图；WW-Add＝ΣWR,FL＝ω1WR+ω2FL5ω1+ω2＝16 其中fConv1×1代表Conv1×1操作，fConv3×3代表Conv3×3操作，fTrans代表通过BottleneckTransformer模块，δ代表ReLU激活函数，Σ代表自适应加权特征融合操作，同时ω1,ω2代表加权系数，它们的关系式如式6；最终，加权特征和高级特征直接进行拼接；拼接后的特征图经过3×3卷积操作，生成细化且集中的融合特征，如公式7所示；随后，这个输出经过上采样以匹配输入图像的分辨率，生成预测图；其中，嵌套多层注意力的空洞空间金字塔池化结构具体如下：该结构引入了通道先验卷积注意力CPCA，它通过串联在多层膨胀卷积和池化结构后面并形成并行分支，从而有效整合全局上下文；其次，CPCA动态地在通道和空间上分配注意力权重，从而减少冗余信息，这样的组合方式提高了模型对图像语义结构的理解能力，并使模型能够更精确地聚焦于关键语义区域，增强了边缘细节处理；然后，CPCA动态地在通道和空间上分配注意力权重这一策略过程简化了操作，避免了计算开销；该结构进一步引入了坐标注意力机制，用以整合并行分支的信息，增强模型对目标位置和上下文的理解；最终，这些创新旨在通过强调相关区域并抑制无关信息来提高图像分割的准确性；其中，多尺度特征融合模块具体如下：多尺度特征融合模块通过编码器输入图像中提取多层次的特征，但这些不同层次的特征由于下采样在空间分辨率上存在成倍的差异，因此需要对低分辨率的特征图进行上采样，使其与高分辨率的特征图具有相似的空间尺寸；然后将经过上采样的低级特征与高级特征进行融合，最后经过融合的特征用于后续的卷积操作，提高模型的特征提取性能。

全文数据：

权利要求：

百度查询： 东华大学 基于多尺度特征融合和多层注意力的桥梁裂缝检测方法