买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：一种基于多源遥感图像的舰船目标识别与检索方法，涉及图像识别与分类技术领域，解决了在复杂海洋背景下难以准确搜索和检索舰船目标，及难以实现图像和文字间跨模态检索问题；包括：收集海洋领域的多源遥感图像数据；训练舰船目标检测模型；利用目标检测模型进行遥感图像中舰船目标的检测与标注，分割遥感图像中的舰船目标；微调CLIP预训练模型；使用微调CLIP预训练模型进行舰船目标检索，输出检索结果。通过运用图像切块技术达到对图像局部放大，使目标检测更准确，将舰船目标从原图中切割出来，减少在后续目标检索时受到复杂海洋背景的影响；利用预训练模型使其在海洋领域的图文检索更专业化，完成依据文本检索图像的跨模态检索任务。

主权项：1.一种基于多源遥感图像的舰船目标识别与检索方法，其特征在于：包括以下步骤：S1、收集海洋领域的多源遥感图像数据；S2、训练舰船目标检测模型；S3、利用目标检测模型进行遥感图像中舰船目标的检测与标注，并分割遥感图像中的舰船目标；S4、微调CLIP预训练模型；S5、使用微调CLIP预训练模型进行舰船目标检索，输出检索结果；所述步骤S3具体包括以下分步骤：S31、对收集到的多源遥感图像数据进行预处理，调整图像尺寸、颜色归一化，确保图像质量适合目标检测；S32、运用图像切块技术，将经步骤S31预处理后的多源遥感图像切分成适合模型输入的子图像，并保证子图像间存在部分重叠；S33、利用步骤S2训练好的舰船目标检测模型对步骤S32中的子图像进行舰船目标搜索，并在图像中进行标注；S34、合并所有子图像的检测结果，对重叠区域的目标进行非极大值抑制，去除重复的检测框；S35、在经步骤S31预处理后的遥感图像上绘制所有检测到的舰船目标，并获取它们的边界框坐标；S36、根据步骤S35获取到的边界框坐标及对其的标注信息，生成分割片段数据集；所述步骤S4具体包括以下分步骤：S41、根据步骤S11中收集到的图文对数据中的文本数据，初始化Prompt文本信息，其具体表达式如下：t＝[V]1[V]2...[V]M[CLASS]其中，t表示转发给CLIP预训练模型中文本编码器的Prompt文本信息，[V]M表示与词嵌入具有相同维度的向量，M表示上下文令牌数量的超参数，CLASS表示CLIP预训练模型用于分类的类别名称；S42、利用CLIP预训练模型的图像编码器和文本编码器，分别提取步骤S11收集的图文对数据中图像的特征向量和生成Prompt文本信息的特征向量；S43、计算图像特征向量和文本特征向量的余弦相似度和相似度矩阵，具体表达式如下： Sij＝cosvi，tj；其中，cosvi，tj表示图像特征向量与文本特征向量的余弦相似度，S表示图像与文本的相似度矩阵，Sij表示第i张图像与第j条文本相似度，vi表示由图像编码器对第i张图像提取的图像特征向量，tj表示由文本编码器对第j个文本提取的文本特征向量；S44、对于每一个图像-文本对i,j，计算图像到文本的交叉熵损失、文本到图像的交叉熵损失及最终损失，具体表达式如下： 其中，表示第i个图像-文本对的交叉熵损失，表示第i个文本-图像对的交叉熵损失，L表示最终损失，N表示批量大小，τ表示CLIP预训练模型学习到的参数，Sii表示第i个图像与第i个文本相似度，Sji表示第j张图像与第i条文本的相似度；S45、通过最小化分类损失，在不满足损失值条件的时候，不断使用梯度下降法优化CLIP预训练模型参数，进行CLIP预训练模型微调；所述步骤S5具体包括以下分步骤：S51、使用微调后的CLIP预训练模型图像编码器提取步骤S36中分割片段数据集的图像特征；S52、依文字检索舰船目标进行跨模态检索；S53、依图像检索舰船目标进行图像检索；S54、根据得到的相似概率，提取出所有与待检索信息相似概率超过80％的图像，在步骤S3未分割前的原图像中标注出来，并将标注后的图像作为检索结果输出。

全文数据：

权利要求：

百度查询： 四川大学 一种基于多源遥感图像的舰船目标识别与检索方法