买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种跨模态提示调整的素描行人重识别方法，包括如下步骤：S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征；S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化；S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强，进行跨模态特征对齐和素描特征优化。S4、利用通用的损失函数进行网络优化，并对S2和S3处理后经过骨干最后输出的特征进行相似性度量，输出匹配结果。本发明引导浅层冻结的预训练模型从样本提示和特征增强的角度执行素描检索任务，同时考虑到了模态间差距大的问题。

主权项：1.一种跨模态提示调整的素描行人重识别方法，其特征在于，包括如下步骤：S1、构建具有四个阶段的双流骨干网络提取输入行人照片和手绘素描的特征；S2、将S1第一阶段骨干网络输出的照片特征使用照片摄动提示进行采样优化；S3、将S1第三阶段骨干网络输出的素描特征使用第三阶段骨干网络输出的照片特征诱导素描细节增强，进行跨模态特征对齐和素描特征优化；S4、利用通用的损失函数进行网络优化，并对S2和S3处理后经过骨干最后输出的特征进行相似性度量，输出匹配结果；S2具体步骤如下：S201、通过线性投影由特征提取网络第一阶段输出照片特征fp和素描特征fs进一步生成采样照片表征；通过使用sigmoid函数和静态因子0.5；具体可以表示为：S＝0.5sigmoidfp·fs1；S202、提前执行重塑操作，即将特征重塑为的大小，然后进行线性投影用于生成偏移集，将集合重塑为满足的空间大小，称此过程为像素混洗；在其他超参数固定的情况下，像素混洗设置下可以将参数数量减少到14；线性投影首先用于生成偏移集；然后将集合重塑为满足空间大小；S203、给定上采样比例因子为2，用于生成大小为H×W的偏移量S；网格样本函数使用S中的位置将照片浅层特征fp通过双线性插值重新采样为大小为2H×2W的特征，采样到的照片特征f'p是偏移量S和原始采样网格Grid的总和；这个过程定义为：f'p＝S+grid_samplefp,S2；S3具体步骤如下：S301、特征提取网络第三阶段输出照片特征和素描特征分别输入到素描细节增强模块中；通过计算归一化后的特征张量之间的余弦相似度，得到一个亲和矩阵；余弦相似度Similarity的计算表征了特征向量之间的相似程度： 然后使用Softmax函数对亲和矩阵进行操作，将其元素的值限制在0到1之间，并确保每行元素之和为1；利用归一化的亲和矩阵对素描特征张量进行加权求和，得到空间对齐后的特征张量这一步的目的是通过考虑照片特征张量中与当前素描位置相似的特征向量，来调整素描特征向量的表示，具体表示为： S302、采用两个级联卷积层来融合两种模态的视觉特征；第一个核大小为1×1的卷积层用于减少特征通道的数量，引入非线性变换GELU，核大小为3×3的卷积层实现了更全面的特征融合，从而生成特征池fpool： S303、对素描特征使用最大池化层maxpool、两个7×7卷积层、RELU和sigmoid函数，以生成空间注意力掩码；最后，将掩码mask和特征池fpool相乘以减少不相关照片特征的引入，从素描模态的角度获得所需的补充信息，从而得到素描细节增强后的特征f's；整个过程可以描述为： 其中⊙表示哈达玛积。

全文数据：

权利要求：

百度查询： 南京信息工程大学 跨模态提示调整的素描行人重识别方法