买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：本申请公开了基于PA‑MLFPN工件表面多尺度微小缺陷检测方法，步骤为：构建PA‑MLFPN特征提取模型。以VGG16主干特征提取网络模型在先，PA‑MLFPN在中，预测层在后，构成检测模型。以多尺度微小缺陷目标工件表面图像为输入，以缺陷定位框和分类为输出，针对检测模型训练，获得检测模型。PA‑MLFPN首先在TUM编码器部分使用不同dilatedrate的空洞卷积代替传统卷积，用平均池化操作进行下采样；并在原TUM的基础上增加一条自下而上的特征增强路径将浅层特征插值到深层中；在SFAM第二阶段引入ECA模块进行通道上的权值分配；本发明可对尺度多变且尺度较小的工件表面缺陷目标进行检测。

主权项：1.基于PA-MLFPN工件表面多尺度微小缺陷检测方法，其特征在于，执行以下步骤A至步骤D，获得工件表面缺陷检测模型，然后基于VGG16主干特征提取网络所获检测目标工件的微小缺陷样本图像,应用工件表面缺陷检测模型，获得目标工件图像中多尺度微小缺陷分别所对应的预设缺陷分类；步骤A:基于MLFPN模型，以微小缺陷样本图像为输入，以多层特征金字塔为输出,构建PA-MLFPN特征提取模型；PA-MLFPN特征提取模型包括FFMv1特征融合模块、基本特征层、多级FFMv2特征融合模块、多级改进的TUM细化U型模块、以及改进的SFAM基于尺度的特征聚合模块，所述FFMv1特征融合模块作为所述PA-MLFPN特征提取模型的输入端，所述FFMv1特征融合模块的输出端与基本特征层的输入端相连，所述基本特征层的输出端与各个FFMv2特征融合模块的输入端、以及第一级改进的TUM细化U型模块的输入端分别相连，所述多级FFMv2特征融合模块与多级改进的TUM细化U型模块交替堆叠连接，最后一级的改进的TUM细化U型模块的输出端与改进的SFAM基于尺度的特征聚合模块的输入端相连，所述改进的SFAM基于尺度的特征聚合模块的输出端作为PA-MLFPN特征提取模型的输出端；对PA-MLFPN特征提取模型进行训练的步骤包括以下步骤101至步骤104：步骤101:基于FFMv1特征融合模块，以conv4_3和conv5_3为输入，以多工件表面多尺度微小缺陷基本特征层为输出，随后进入步骤102；步骤102:以工件表面多尺度微小缺陷基本特征层为输入，输入至第一级改进的TUM细化U型模块进行进一步特征提取，以不同层级输出的六个尺度的微小缺陷基本特征图为输出，随后进入步骤103；改进的TUM细化U型模块在编码器部分采用dilatedrate分别设置为2，2，3，3，1的步长为1的3×3空洞卷积来进行特征学习，并且采用步长为2的平均池化操作来进行下采样，并在原U型结构的基础上增加一条从浅层到深层的信息传输路径将浅层特征金字塔特征的细节位置信息插值到深层，即Ti经过卷积核尺寸为3×3，步长为2的卷积，特征图尺寸缩减为原来的一半即ConvTi，然后和Ci+1进行逐元素相加，得到的结果再经过一个卷积核尺寸为3×3，步长为1的卷积得到Ti+1，计算公式为： 步骤103:以基本特征层和第一级改进的TUM细化U型模块获得的六个尺度基本特征图中最大特征图为输入，输入至第一级FFMv2特征融合模块，得到第一级融合的特征图；然后以第一级融合的特征图和基本特征层图为输入，输入至第二级FFMv2特征融合模块，得到第二级融合特征图，以交替堆叠多级改进的TUM细化U型模型和FFMv2特征融合模块的方式以前一级融合特征图和基本特征层图为输入，以后一级融合特征图为输出，获得浅层特征金字塔特征图，中层特征金字塔特征图和深层特征金字塔特征图，随后进入步骤104；步骤104:基于SFAM模块进行特征聚合，以浅层特征金字塔特征图、中层特征金字塔特征图、深层特征金字塔特征图中尺寸相同的金字塔特征层图为输入，以多层特征金字塔图为输出，之后对获得的多层特征金字塔使用ECA模块进行通道上权值的分配；基于SFAM模块对获得的多层特征金字塔使用ECA模块进行通道上权值的分配的具体步骤为：步骤Ⅴ-1：对于SFAM模块初步聚合的多层特征金字塔图的特征层进行全局平均池化，获得C个通道的权重，随后进入步骤Ⅴ-2；步骤Ⅴ-2：通过内核大小为k的一维卷积来实现局部跨通道交互信息来获取C个通道的权重系数，其中内核大小k通过通道数C的函数自适应确定，计算公式为： 其中，||odd表示取最近的奇数，且b与γ分别取1和2，最后将C个通道的权重系数通过Sigmoid函数得到C个0到1之间的值，分别对应原始通道的权重，并将其与多层特征金字塔图相乘来进行加权然后输出，得到多级特征金字塔特征图；步骤B：基于Predictionlayer预测层，以微小缺陷样本图像的多层特征金字塔图像为输入，以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出，构建分类模型；步骤C：以PA-MLFPN特征提取模型在先，分类模型在后顺序连接，且分类模型输入端连接PA-MLFPN特征提取模型输出端，构成以单个缺陷位置的工件表面多尺度微小缺陷样本图像为输入，以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出的检测模型；步骤D：基于预设数量的各个包含单个缺陷位置的工件表面多尺度微小缺陷样本图像、以及各个工件表面多尺度微小缺陷样本图像分别所对应的预设缺陷分类，以微小缺陷样本图像为输入，以图像中多尺度微小缺陷分别所对应的预设缺陷分类为输出，针对检测模型进行训练，获得工件表面缺陷检测模型。

全文数据：

权利要求：

百度查询： 南京工业大学 基于PA-MLFPN工件表面多尺度微小缺陷检测方法