买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南大学

摘要：本发明公开了一种无人机可见光‑红外图像目标级融合方法及系统，本发明包括获取无人机采集的成对的可见光原始图像和红外原始图像；从可见光原始图像和红外原始图像中提取可见光目标切片和红外目标切片；对可见光目标切片和红外目标切片进行配准；对可见光目标切片利用无监督方法进行语义分割得到可见光区域分割图；从红外目标切片中提取温度信息后注入可见光区域分割图得到初步融合结果；对初步融合结果进行引导滤波得到最终融合结果。本发明旨在解决现有融合技术中可见光红外图像对精准对齐高度依赖的问题，以及解决可见光红外图像分辨率差异大导致的融合图像信息丢失和视觉效果较差的问题。

主权项：1.一种无人机可见光-红外图像目标级融合方法，其特征在于，包括下述步骤：S101，获取无人机采集的成对的可见光原始图像和红外原始图像；S102，从可见光原始图像和红外原始图像中提取可见光目标切片和红外目标切片；S103，对可见光目标切片和红外目标切片进行配准；S104，对可见光目标切片利用无监督方法进行语义分割得到可见光区域分割图；S105，从红外目标切片中提取温度信息后注入可见光区域分割图得到初步融合结果；S106，对初步融合结果进行引导滤波得到最终融合结果；步骤S102包括：分别针对可见光原始图像和红外原始图像进行目标检测，根据目标检测得到的检测结果框的位置对可见光原始图像或红外原始图像进行切割，最终获得可见光目标切片和红外目标切片，且进行目标检测包括：S201，将输入的图像通过卷积神经网络CNN进行处理得到预测输出；S202，根据预测输出根据下式计算出每个预测框的中心坐标、宽高和置信度； ， ， ，上式中，为sigmoid激活函数，为预测框中心坐标的偏移量，为中心坐标偏移的辅助项，为预测框宽高的偏移量，为宽高偏移的辅助项，为置信度，为置信度预测值；S203，利用非极大值抑制算法对每个类别的预测框中重叠度较高的预测框进行剔除，只保留置信度最高的预测框作为最终得到的检测结果框；步骤S103包括：S301，根据下式计算可见光目标切片和红外目标切片的互相关系数： ，上式中，表示可见光目标切片和红外目标切片的互相关系数，、分别为xy方向的平移参数，为可见光目标切片的坐标处的像素，为红外目标切片的坐标处的像素；选择初始的xy方向的平移参数作为迭代前的xy方向的平移参数，初始化迭代次数为1；S302，根据下式计算迭代后的xy方向的平移参数： ， ，上式中，和为迭代后的xy方向的平移参数，和为迭代前的xy方向的平移参数，为学习率，为可见光目标切片和红外目标切片的互相关系数；S303，将迭代次数加1，判断迭代次数是否等于预设阈值，若不等于预设阈值，则跳转步骤S302；否则，将最终得到的迭代后的xy方向的平移参数将可见光目标切片和红外目标切片对齐，再将可见光目标切片和红外目标切片非对齐部分切除，从而得到配准后的可见光目标切片和红外目标切片；步骤S106中对初步融合结果进行引导滤波得到最终融合结果的函数表达式为： ，上式中，为最终融合结果的坐标处的像素值，为以像素点为中心的滤波器窗口，该滤波器窗口的大小为，为滤波器半径，为该滤波器窗口中的像素坐标，为坐标的权重，为可见光目标切片在坐标处的像素值，且有权重的计算函数表达式为： ，上式中，为可见光目标切片的像素点局部方差，为强度参数。

全文数据：

权利要求：

百度查询： 湖南大学 无人机可见光-红外图像目标级融合方法及系统