买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京华视智能科技股份有限公司

摘要：本发明涉及一种基于深度学习的涂布陶瓷区虚边检测方法，属于目标检测的技术领域，采集涂布图像数据，将预处理后的涂布图像输入基于轻量级网络YOLOv5‑Lite训练的陶瓷区检测模型，得到陶瓷区位置及类型；构建粗定位的虚边ROI区域，将ROI区域映射回原图，得到待检测虚边图像，并对待检测虚边图像进行局部对比度增强；建立改进的YOLOv5网络作为虚边检测模型，将待检测虚边图像输入训练好的虚边检测模型，模型输出虚边检测结果；解析虚边检测结果，得到虚边在原涂布图像坐标系中的位置和尺寸信息。本发明实现了在复杂涂布生产环境中的高精度实时虚边检测。

主权项：1.一种基于深度学习的涂布陶瓷区虚边检测方法，其特征在于，包括以下步骤：步骤S1、通过工业相机采集涂布图像数据，并对采集数据进行预处理，预处理包括：灰度化、高斯模糊和图像缩放；步骤S2、将预处理后的涂布图像输入陶瓷区检测模型，得到陶瓷区的位置及类型；具体为：采用轻量级目标检测网络YOLOv5-Lite作为陶瓷区检测模型，并使用非极大值抑制算法去除模型输出中的冗余信息，获取涂布图像中的每个陶瓷区的位置及类型；所述陶瓷区的类型包括碳膜左侧陶瓷区与碳膜右侧陶瓷区；步骤S3、根据陶瓷区的位置及类型构建粗定位的虚边ROI区域，将虚边ROI区域映射回原图，得到待检测虚边图像，并对待检测虚边图像进行局部对比度增强；所述局部对比度增强的具体实施步骤为：将待检测的虚边图像划分为若干个小块，单独对每个小块进行直方图均衡化，通过对比度阈值限制高频灰度值，并将超过限制的像素均匀分布到直方图中的其他部分,来对每个小块的对比度进行限制，其计算公式为： 式中，Sijk表示在灰度级k下，小块Tij经过处理后的灰度值；L为灰度级的总数；Hijm为小块Tij中灰度值为m的像素个数；C为对比度阈值，用于限制直方图的高频部分；为对小块Tij中所有灰度级l的直方图计数减去对比度阈值C后，剩余的直方图计数的总和；|Tij|为小块Tij的像素总数，即小块的面积；使用双线性插值将小块之间的边界平滑化，消除块效应，平滑地合并所有小块，形成完整的对比度增强后的待检测虚边图像；步骤S4、通过引入注意力机制、添加小目标检测层、更改上采样方式与损失函数对原YOLOv5网络进行改进，得到改进的YOLOv5网络，使用虚边检测数据集对改进的YOLOv5网络进行训练，得到虚边检测模型，将待检测虚边图像输入虚边检测模型，虚边检测模型输出虚边检测结果；所述虚边检测模型是：对待检测虚边图像中的虚边进行标注，使标定框左右两条边与虚边左右两侧重合，得到虚边数据集，将虚边数据集输入改进后的YOLOv5模型中进行训练得到虚边检测模型；改进后的YOLOv5网络包括特征提取网络Backbone、特征融合网络Neck以及检测头Head，对YOLOv5网络的具体改进包括：1向YOLOv5网络中特征提取网络Backbone网络的C3模块中引入坐标注意力机制CA，其具体操作步骤为：分别使用尺寸为C′×1×W和C′×H×1的池化核沿高度和宽度方向对C3模块中3×3卷积后得到的特征图进行全局平均池化，将位置信息编码在一对方向感知的特征向量中，其计算公式为： 其中，C′、H、W分别表示输入特征图的通道数、高度和宽度；X∈RC′×H×W表示输入特征图；Xh∈RC′×1×W、Xw∈RC′×H×1分别表示水平和垂直方向全局平均池化后的特征向量；将其中一个特征向量的维度调换后与另一个特征向量拼接，并输入到一个二者共享的变换函数中，计算公式为：f＝δF1cat[Xh,X′w]其中，δ为非线性激活函数；F1为1×1卷积变换函数；X′W表示宽、高维度调换后的Xw；cat[Xh,X′w]表示对Xh和X′w对应维度进行拼接；f∈RC'r×H+W为融合了高度和宽度两个方向位置信息的中间特征向量，r为最大降采样比例，用来控制模块大小；将f沿空间维度拆分成两个独立的向量fh∈RC′r×H和fw∈RC′r×W分别输入到两个1×1卷积变换函数Fh和Fw中，得到：gh＝σFhfhgw＝σFwfw其中，fh和fw分别为沿高度和宽度方向拆分的特征图；Fh和Fw分别为沿高度和宽度方向的1×1卷积变换矩阵；σ为sigmoid激活函数；gh和gw分别为高度和宽度方向上经过卷积变换和激活函数后得到的注意力权重图，用于在相应方向上调整输入特征图的权重；将得到的gh和gw分别沿宽度和高度方向扩展为与输入特征图X具有相同尺寸的特征向量即为CA权重，将CA权重与原输入特征图的对应位置相乘即得到具有更强特征表达能力的输出： 其中，c表示第c个通道；i、j分别表示横、纵坐标位置；2添加一个小目标检测层，同时增加一个小目标检测层的锚框，具体操作步骤为：在YOLOv5中特征融合网络Neck2次上采样的基础上再进行一次上采样，将得到的特征图与特征提取网络Backbone第2层进行拼接，得到一个针对小目标检测的大分辨率特征图，再继续进行正常下采样操作，最后将YOLOv5网络的第21层、24层、27层、30层特征图作为检测头Head的输入；基于虚边检测数据集，使用K-means聚类算法重新生成12个锚框；3采用轻量级动态上采样DySample替换YOLOv5网络中的双线性插值上采样；4调整损失函数，具体操作步骤为：将定位损失由完全交并比损失CIoULoss改为高效交并比损失EIoULoss，同时适当增加小目标检测层的边框回归损失权重，其计算公式如下： 式中，IOU为预测框与真实框的交并比；ρ为两点之间的欧式距离；b、w、为预测框的中心点坐标及宽、高；bgt、wgt、hgt为真实框的中心点坐标及宽、高；wc、hc为预测框与真实框最小外界矩形的宽和高；LossEIOU为EIoU损失值，衡量了预测边界框与真实边界框之间的误差；将置信度与分类损失由交叉熵损失CrossEntropyLoss改为焦点损失FocalLoss，其计算公式如下：LossFocalpt＝-αt1-ptγlogpt式中，pt表示模型对正确类别的预测概率；αt为平衡因子，用于平衡正负样本的比例；γ为调节因子，用于调整易分类样本的损失权重；LossFocalpt为FocalLoss损失值，衡量了模型在处理不平衡样本时的分类误差；步骤S5、解析虚边检测结果，得到虚边在原涂布图像坐标系中的位置和尺寸信息。

全文数据：

权利要求：

百度查询： 南京华视智能科技股份有限公司 一种基于深度学习的涂布陶瓷区虚边检测方法