买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供了一种基于部件提示学习的终身目标重识别方法，涉及计算机视觉中的目标重识别领域，无需存储旧任务目标图像数据用于后续新任务学习过程中进行回放，而是采用提示学习的方法引导预训练多模态视觉语言模型连续地学习多个重识别任务。本发明将可学习的提示分为全局提示和多个部件提示，其中全局提示关注目标图像的整体特征，而多个部件提示分别关注目标的上、中、下三个局部区域，以细粒度的视觉提示引导模型关注到目标的判别性局部区域，进一步提升模型提取特征的判别表达能力。

主权项：1.一种基于部件提示学习的终身目标重识别方法，其特征在于包括下述步骤：步骤1：模型与数据集准备；采用预训练的多模态视觉语言预训练模型CLIP作为骨干网络，CLIP的模型结构包含一个图像编码器和一个文本编码器，图像编码器将输入图像转换为视觉嵌入特征，文本编码器将相关的文本描述转换为文本嵌入特征，原始的CLIP模型采用对比学习策略将相关联的图像和文本嵌入特征在共享的向量空间中拉进，从而实现跨模态视觉-文本语义理解和对齐；终身目标重识别旨在将不同数据域下收集的连续个数据集以顺序数据流的方式输入到CLIP模型中以任务增量学习设定进行学习，即每个数据集作为一个增量学习任务；个数据集中的每个数据集均包含训练集、查询集和图库集，其中训练集用来对CLIP模型进行增量训练，查询集和图库集用来对最终训练好的CLIP模型进行测试；在训练第个数据集时，无需保存之前的第个数据集的图像数据，模型在连续地学习完个数据集之后得到最终训练好的测试模型；步骤2：第一阶段训练；在获取到第个数据集的训练集后，首先进行第一阶段的训练，第一阶段的目标是为每一个目标身份ID学习身份特定的自然语言文本描述，使用文本模板“Aphotoofaperson.”描述一个特定的目标身份，其中表示可学习的身份描述词嵌入向量，，表示词嵌入向量的个数；在第一个训练阶段，将CLIP文本编码器和图像编码器的参数冻结，只优化可学习的自然语言文本描述；步骤3：第二阶段训练；第二阶段训练的目标是通过提示学习的方式额外添加少量的可学习参数来对CLIP图像编码器进行参数高效微调，目标身份的语言文本描述和CLIP文本编码器的参数保持冻结，CLIP图像编码器主干网络也保持冻结，只训练额外添加的全局提示和部件提示参数；步骤4：在第个增量学习任务阶段，首先获取当前任务对应数据集的训练集进行第一阶段训练，第一阶段通过优化损失函数为每一个目标身份ID学习身份特定的自然语言文本描述；随后进入第二阶段训练，第二阶段通过优化损失函数实现对CLIP图像编码器的参数高效微调；在完成第二阶段训练后，保存当前任务对应的全局提示和部件提示参数，接着学习下一个增量任务，重复步骤2-步骤3直至完成所有个任务的学习，进入到下一步测试流程；步骤5：在测试阶段，对于每个增量学习任务，将对应任务的提示参数附加到CLIP图像编码器的各层中，并将对应任务数据集的查询集和图库集送入CLIP图像编码器得到编码视觉特征，然后根据得到的查询和图库视觉特征计算mAP和Rank-1性能指标，最后，计算个数据集的平均测试性能。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于部件提示学习的终身目标重识别方法