买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东电网有限责任公司广州供电局

摘要：本公开提供了一种基于配网机巡影像数据的典型缺陷智能识别方法及系统，涉及配网缺陷识别技术领域，该方法包括获取无人机采集的对配网系统进行监测的视频流，从视频流中提取关键帧图像；通过缺陷检测模型识别关键帧图像中是否存在配网系统的典型缺陷；当识别出关键帧图像中存在配网系统的典型缺陷时，在关键帧图像中标记典型缺陷的缺陷位置和缺陷类型，将标记后的关键帧图像进行显示；以供人工审核标记后的关键帧图像中典型缺陷的缺陷位置和缺陷类型是否验证通过；响应于人工审核验证通过的确认消息，将标记后的关键帧图像作为缺陷特征图像存入样本数据集，以对双通道神经网络模型进行重新训练；本公开能实现对配网系统的智能巡检。

主权项：1.一种基于配网机巡影像数据的典型缺陷智能识别方法，其特征在于，包括：步骤S110，获取无人机采集的对配网系统进行监测的视频流，从所述视频流中提取关键帧图像；步骤S120，将所述关键帧图像输入缺陷检测模型中，以识别所述关键帧图像中是否存在配网系统的典型缺陷；其中，所述缺陷检测模型为用于检测配网系统中缺陷位置和缺陷类型的双通道神经网络模型，所述缺陷检测模型通过采用样本数据集对双通道神经网络模型进行训练得到，所述样本数据集包括缺陷特征图像和正常特征图像，所述缺陷特征图像标记有配网系统典型缺陷的缺陷位置和缺陷类型；步骤S130，当识别出所述关键帧图像中存在配网系统的典型缺陷时，在所述关键帧图像中标记典型缺陷的缺陷位置和缺陷类型，得到标记后的关键帧图像；步骤S140，将标记后的关键帧图像进行显示；以供人工审核所述标记后的关键帧图像中典型缺陷的缺陷位置和缺陷类型是否验证通过；步骤S150，响应于人工审核验证通过的确认消息，将所述标记后的关键帧图像作为缺陷特征图像存入样本数据集，以对双通道神经网络模型进行重新训练；所述步骤S110包括：步骤S210，控制无人机对配网系统中的每个位置进行多角度拍摄，采集得到对配网系统巡检的视频流；步骤S220，调用无人机sdk获取无人机采集得到的视频流，并从所述视频流中抓取关键帧图像；步骤S230，采用JPEG算法将关键帧图像进行压缩，编码成base64格式的编码图像后，将编码图像通过http协议发送到处理设备；步骤S240，所述处理设备接收到所述编码图像后进行解码，得到关键帧图像；所述缺陷检测模型通过以下方法训练得到：步骤S310，获取样本数据集，将所述样本数据集划分为训练集和验证集；步骤S320，构建双通道神经网络模型；所述双通道神经网络模型包括并行的VGG16模型和DeepBit32模型、特征融合模块、全连接层以及输出层；步骤S330，将所述训练集分别输入VGG16模型以及DeepBit32模型，以通过VGG16模型从样本数据集中提取得到第一图像特征，DeepBit32模型从样本数据集中提取得到第二图像特征；所述第一图像特征用于表征配网系统的缺陷特征，所述第二图像特征用于表征配网系统的设备特征；步骤S340，通过特征融合模块对第一图像特征和第二图像特征进行特征融合，得到融合图像特征；步骤S350，通过全连接层对得到的融合图像特征聚合得到向量，对聚合得到的向量进行向量变换，得到一维图像特征；步骤S360，使用误差的反向传播算法对双通道神经网络模型进行训练，使用验证集对训练得到的一维图像特征进行验证，当验证集的误差低于设定的阈值、或验证集的误差从逐渐减小变成逐渐增大、或达到设定的训练迭代次数时，停止对双通道神经网络模型的训练；否则执行步骤S320；步骤S370，将完成训练的双通道神经网络模型作为缺陷检测模型；所述特征融合模块包括第一融合模块、第二融合模块和第三融合模块，所述步骤S340包括：步骤S410，采用第一融合模块对第一图像特征和第二图像特征进行双线性特征组合，得到表征全局图像特征的第一融合图像特征；步骤S420，采用第二融合模块对第一图像特征和第二图像特征进行柔性特征组合，得到将缺陷特征融合于设备特征的第二融合图像特征；步骤S430，采用第三融合模块对第一图像特征和第二图像特征进行元素积叠加，得到的第三融合图像特征；其中，所述第三融合图像特征用于将设备特征作为附加信息增强缺陷分类的判别性；步骤S440，将第一融合图像特征、第二融合图像特征和第三融合图像特征进行融合，得到融合图像特征；所述融合图像特征的表达式为：Sn＝φI+w2Ln+w3Pn；其中，φI表示第一融合图像特征，Ln表示第二融合图像特征，Pn表示第三融合图像特征，w2表示第二融合图像特征的权重，w3表示第三融合图像特征的权重。

全文数据：

权利要求：

百度查询： 广东电网有限责任公司广州供电局 基于配网机巡影像数据的典型缺陷智能识别方法及系统