买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：河北工业大学

摘要：本发明公开基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法，该检测方法基于改进型YOLOv4神经网络模型，在原模型中的特征融合部分加入自行设计的适用于光伏电站热斑缺陷检测的多尺度特征图推理模块，引导多尺度特征融合并突出显示缺陷位置区域抑制图像中的复杂背景特征，有效的提升对光伏组件热斑缺陷的识别能力。本发明检测方法将深度学习技术和图像处理技术相结合，不但避免了传统手工提取特征的低效性和不确定性，同时检测过程还具备较强的鲁棒性，明显提升了检测精度并且提升了检测速度。

主权项：1.基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法，其特征在于，该方法的具体步骤是：第一步:数据集的获取1.1原始图像获取：在无人机上搭载红外相机，通过红外相机拍摄无人机在不同飞行高度时光伏组件正面的照片；1.2数据集制作：对步骤1.1得到的照片进行尺寸归一化处理，并筛选出含有热斑缺陷的图像，得到热斑缺陷图像库；1.3人工使用LabelImg对热斑缺陷图像库中每一张图像的缺陷区域进行热斑缺陷类型标签标注，得到热斑缺陷图像数据集；对热斑缺陷图像数据集进行随机抽取，将不少于60％的部分作为训练样本集，余下部分作为验证样本集；第二步：多尺度特征推理网络检测器的训练2.1训练样本集预处理将训练样本集采用Mosaic数据增强的方式进行预处理；2.2参数设置初始化所有权重值、偏置值、批量归一化尺度因子值，设置检测器的初始学习率、batch_size，并将初始化的参数数据输入检测器中，设置检测器的初始学习率为0.001；2.3检测器训练将经过预处理的训练样本集输入到初始化参数设定好后的检测器中，该检测器为将Yolov4网络模型中的PANet模块替换成多尺度特征图推理网络模块而得；经过预处理的训练样本集在该检测器中，首先进行特征提取并结合多尺度特征图推理网络模块进行多尺度融合，然后将最后三层提取获得的特征图通过卷积层来细化融合降低维度，并利用分类回归网络预测张量，获得位置、缺陷类别和置信度预测值；将产生的预测值和标注信息对比产生loss值，然后进行反向传播，更新骨干网络和分类回归网络的参数，直至loss值符合预设，该检测器参数的训练完成；2.4检测器测试将验证样本集输入到步骤2.3中完成参数训练的检测器中，得到验证样本集的张量预测值；将其张量预测值与标注信息对比，验证该检测器的可靠性，用于监控该检测器是否发生过拟合，以便决定是否需要中止训练并重新调整参数；当验证样本集中不同高度的热斑缺陷预测准确率均大于80％，则该检测器验证为可靠；第三步：光伏组件热斑缺陷检测将通过红外相机拍摄的待检测光伏组件正面的照片经过如第一步的步骤1.2中相同的尺寸归一化操作，然后输入到步骤二中验证为可靠的检测器中，得到待检测的光伏组件红外图像的热斑缺陷张量信息，包括缺陷位置、缺陷类别和置信度；多尺度特征图推理网络模块工作原理：多尺度特征图推理网络模块的目标是找到一个能够有效聚合丰富的空间和语义特征并推断全局信息的转换函数；形式上给定一个主干网络多尺度特征列表C3,C4,C5，特征融合与推理过程的定义为：P5＝dblsppdblC31P4＝GdblC4,updblP52P3＝GdblC3,updblP53其中dbl表示DBL操作，spp表示空间金字塔池操作；up表示上采样操作，G·是交叉嵌入图推理模块的操作；交叉嵌入图推理模块工作原理：交叉嵌入图推理模块旨在实现语义特征和空间特征的互补融合和全局关系推理，其具体过程为：首先从坐标空间将具有详细空间特征的和强语义信息的特征从坐标空间Ω交叉嵌入到同一图空间H中，其中L＝W×H,W、H和C分别是特征图的宽、高和通道数；从而得到两个尺度的联合分布fX1、X2和构造图G＝V，E，构造的图融合了X1和X2两个特征，其中节点数V和表示节点和节点关系的边E定义；将构造图G＝V,E中的特征转化成新的坐标空间中的特征，对应的特征节点由可学习映射权值确定，新的坐标空间中特征的节点V中每个节点的生成过程如下： 具有可学习的映射矩阵分别为和B1和B2分别由X1和X2通过训练可得，和分别表示B1和B2的行向量，和分别为行向量和中的第j个元素；N是映射到的节点维数，等于C2；其中，分别是输入特征X1和X2的列向量；通过运算可分别得两个特征X1和X2的第i个节点和得到的图结构，通过定义一个单层图卷积网络GCN·更新节点和边的关系；在图卷积的定义中，更新节点图的方式如公式6所示，其中Ag为表示边关系的邻接矩阵被随机初始化，并在训练期间通过梯度下降训练学习权值Wg，I表示单位阵；是新的坐标空间中节点特征矩阵,图的卷积被表示为：Z＝I-AgVWg6为了更方便的嵌入图卷积网络，设计了一个由一维卷积操作Conv1D·实现图更新过程如公式7所示：Z＝GCNV＝Conv1DConv1DVTT7最后，将单层图卷积网络GCN的输出特征映射回原始的坐标空间，通过更新得到的节点特征矩阵Z，目标是建立一个映射函数将更新后的特征映射成坐标空间的特征Y：Y＝gZ8与图空间映射函数类似，使用线性映射g·来实现映射关系如公式9，其中逆映射矩阵D如公式10： 其中，使用di表示逆映射矩阵D的行向量，dij为行向量di中的第j个元素；zj为节点特征矩阵Z的列向量，yi为映射到坐标空间的特征Y的行向量；根据矩阵运算，用方程式构造了逆映射关系；将信息映射回坐标空间后，附加残余连接操作，以提高模块的通用性,交叉嵌入图推理模块最终输出O如下：O＝Y+X111。

全文数据：

权利要求：

百度查询： 河北工业大学 基于多尺度特征图推理网络的光伏组件热斑缺陷检测方法