买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网四川省电力公司电力科学研究院

摘要：本发明公开了融合红外和可见光图像的变电设备缺陷检测方法及系统，包括获取配准的变电设备红外图像和可见光图像对并形成数据集，将数据集分成训练集、验证集和测试集；构建基于双模态的变电设备目标检测模型，包括双模态特征提取网络、颈部网络和检测层；利用训练集，对基于双模态的变电设备目标检测模型训练，得到训练好的基于双模态的变电设备目标检测模型；基于测试集，采用训练好的基于双模态的变电设备目标检测模型进行变电设备识别，识别出变电设备；获取变电设备红外图像温度信息，结合变电设备的表面温度判断法和相对温差判断法，对识别到的变电设备进行缺陷检测。本发明提升了对目标设备的检测精度和对变电设备缺陷的检测准确度。

主权项：1.融合红外和可见光图像的变电设备缺陷检测方法，其特征在于，该方法包括：获取配准的变电设备红外图像和可见光图像对并形成数据集，将所述数据集分成训练集、验证集和测试集；构建基于双模态的变电设备目标检测模型，所述基于双模态的变电设备检测模型包括双模态特征提取网络、颈部网络和检测层；利用训练集，对所述基于双模态的变电设备目标检测模型训练，得到训练好的基于双模态的变电设备目标检测模型；基于测试集，采用训练好的基于双模态的变电设备目标检测模型进行变电设备识别，识别出变电设备；获取变电设备红外图像温度信息，结合变电设备的表面温度判断法和相对温差判断法，对识别到的变电设备进行缺陷检测和诊断；所述基于双模态的变电设备检测模型包括双模态特征提取网络、颈部网络和检测层，包括：所述双模态特征提取网络，用于分别提取红外图像和可见光图像中目标设备的不同尺度特征，并在提取特征过程中将两种模态的特征进行交互融合；所述颈部网络，用于将提取到的不同尺度的融合特征进行不同尺度特征的融合增强，使特征具有两种图像的有效信息和不同尺度的丰富信息；并输出融合红外信息和可见光信息的三个不同尺度的特征图；所述检测层，用于根据所述特征图，对目标设备进行检测；所述双模态特征提取网络是由基于改进yolov5的单模态红外图像特征提取网络和单模态可见光图像特征提取网络构成的双模态特征提取网络；单模态红外图像特征提取网络和单模态可见光图像特征提取网络具有相同的结构，且二者之间通过特征图相加模块进行特征图相加，通过跨模态特征融合模块进行两种模态特征的融合交互；所述单模态红外图像特征提取网络包括依次设置的第一CBS模块、第二CBS模块、第一C3_DCN模块、第三CBS模块、第二C3_DCN模块、第一特征图相加模块、第四CBS模块、第三C3_DCN模块、第二特征图相加模块、第五CBS模块、第四C3_DCN模块、第三特征图相加模块和SPPF模块；所述第一CBS模块、第二CBS模块，用于对输入的变电设备红外图像进行下采样，提取目标设备的特征图；所述第一C3_DCN模块，用于将所述第一CBS模块、第二CBS模块中产生的特征图继续进行几何形变特征提取，从红外图像中提取更符合变电设备不规则外形的特征；所述SPPF模块，用于对特征图实现一个自适应尺寸的输出；两种模态的第二C3_DCN模块输出端均连接第一跨模态特征融合模块，第一跨模态特征融合模块输出端对应连接两种模态的第一特征图相加模块；两种模态的第一特征图相加模块输出端均连接第四特征图相加模块，相加后的特征图作为第一特征图传入颈部网络；两种模态的第三C3_DCN模块输出端均连接第二跨模态特征融合模块，第二跨模态特征融合模块输出端对应连接两种模态的第二特征图相加模块；两种模态的第二特征图相加模块输出端均连接第五特征图相加模块，相加后的特征图作为第二特征图传入颈部网络；两种模态的第三C3_DCN模块输出端均连接第三跨模态特征融合模块，第三跨模态特征融合模块输出端对应连接两种模态的第三特征图相加模块；两种模态的第三特征图相加模块输出端均通过SPPF模块连接第六特征图相加模块，相加后的特征图作为第三特征图传入颈部网络；获取变电设备红外图像温度信息，结合变电设备的表面温度判断法和相对温差判断法，对识别到的变电设备进行缺陷检测和诊断，包括：获取变电设备红外图像温度信息，并通过提取红外图像温度信息得到识别出的变电设备的表面最高温度和相对温差值；采用变电设备的表面温度判断法和相对温差判断法，将变电设备的表面最高温度和相对温差值分别和对应的温度阈值进行对比诊断，得到诊断结果。

全文数据：

权利要求：

百度查询： 国网四川省电力公司电力科学研究院 融合红外和可见光图像的变电设备缺陷检测方法及系统