买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：细粒度结合特征相似度检索的跨域人群计数方法及系统。本发明提出了一种结合特征细粒度检索的跨域人群计数方法，包括步骤S1提取源域和目标域图片的细密度特征元素；S2寻找源域和目标域的域间关系；S3对目标域细粒度块进行密度图预测，将预测值与所述源域细粒度块的匹配值进行融合处理，得到伪标签，将目标域图片采用滑动窗口取样，最终整张图的人数计算结果为由这张图分成的所有小块人数的总和。该方法探索了有标签数据与无标签真实数据之间人群分布的特征级细粒度相似性，以弥补跨域差距，能够对无标签块进行标记，使源域靠近目标域，并反馈给模型，以减少域的差异；并通过微调的方式更新分布感知模型，提高了分布对齐的性能。在模型推理过程中，不同领域之间的差距逐渐缩小，得到了很好的准确率，能够使用于现实场景。

主权项：1.一种细粒度结合特征相似度检索的跨域人群计数方法，其特征在于：所述方法包括如下步骤：S1提取细密度特征元素：对源域和目标域图片分别进行细密度人群分布采集，并使用滑动窗口策略获取细密度块，提取源域和目标域的细粒度特征元素，所述源域指带人群计数标签的深度学习图片数据集，所述目标域指待检测的现实场景图片数据集；S2寻找域间关系：构建源域和目标域的细粒度特征元素数据库，计算源域中每个元素和数据库中元素的相似性，根据给定的目标域细粒度特征检索出包含目标域元素与其相似性最高的源域元素；S3人群计数预测：对所述目标域细粒度块进行密度图预测，将预测值与所述源域细粒度块的匹配值进行融合处理，得到伪标签，将目标域图片的长边和短边都归一化为128的倍数，再将图片采用滑动窗口取样，最终每张图片的计数总和为由每张图片切成的小块的计数和；步骤S1包括如下步骤：S11细粒度人群分布采集：利用尺寸为128，128步长为64，64的滑动窗口在整幅图上滑动得到细粒度块，细粒度块的集合定义为：S12细粒度特征提取：使用位置敏感的主干网络HRNet，并采用源域中有标签的小块对特征提取模型进行初始化，将特征提取模型定义为Mr，r代表迭代次数，初始化模型记作M0；源域特征和目标域特征分别定义为：其中和分别代表第i个源域特征和第j个目标域特征；S13对所述特征提取模型使用独立结构相似损失函数和均方差损失进行优化，所述损失函数如公式4所示，其中独立结构相似损失如公式1所示，LS如公式2所示，结构损失如公式3所示： LS＝1-SSIME,GT2 L＝LMSE+ηLI-S4N是总人数，E是预测图，GT是ground-truth，μE和σGT分别是E的平均值和GT的标准差，σE·GT表示E和GT的协方差，γ1和γ2设置为0.0001和0.0009；步骤S2包括以下步骤：S21通过寻找高相似度方法对所述源域和目标域中的所有细粒度特征元素进行扩散构成数据库，对目标域中的细粒度特征在数据库中寻找相似块，得到最终的特征序列S22选择中的rank1记作其相似度得分记作设置阈值λ，筛选的特征对，记作步骤S21包括以下步骤：S211图的构建：将所述源域和目标域的所有特征作为一个集合，定义为：采用局部约束，使图中只包含两两相似性，定义亲和矩阵：A＝aij；S212图归一化：将所述亲和矩阵归一化为S，归一化过程如公式5所示： D＝∑aij6S213将归一化的亲和矩阵S分为四块，如公式7所示； 其中，SmmSmdSdmSdd分别代表源域到源域，源域到目标域，目标域到源域，目标域到目标域的相似度，其中，d＝m+n；S214随机游走：执行随机游走直到收敛为封闭解，随机游走中的每一次迭代的状态定义为：每一次迭代策略如公式8所示：ft+1＝αSft+1-αf0,α∈0,18其中，α是随机游走到下一步的概率，1-α是从初始化状态重新开始游走的概率；S215得封闭解：由步骤S214随机游走得到封闭解f*如公式9所示，包含了源域中每个元素和数据库中元素的相似性，并用作重排名的分数，如公式10所示：f*＝1-α1-αSf09 S216特征检索：给定目标域细粒度特征，通过KNN的方法，得到最终的检索结果，检索结果包含了目标域元素与其相似性最高的源域元素；步骤S3包括如下步骤：S31伪标签生成：对于所述目标域的细粒度块，进行密度图预测，记作对于源域的细粒度块，进行ground-truth匹配，记作并对和进行融合并进行处理，得到最终的伪标签φij；S32模型微调：将目标域细粒度块与生成伪标签lij组成块数据集Pr，对模型进行微调程，迭代直到模型收敛结束；S33从细粒度到粗粒度：将目标域测试集中图片的长边与短边都归一化为128的倍数，再将图片和ground-truth采用尺寸为128,128,步长为128,128的滑动窗口进行采样，得到的计数预测结果为所有小块预测人数的和；步骤S31包括以下步骤：S311目标域密度图预测：采用FIDT的方法对目标域密度图进行预测，其过程如公式11所示： S312生成伪标签：将和进行融合，如公式12所示，其中W为融合权重，融合过程如公式12所示，并进行伪标签局部最大值放大，如公式13所示：

全文数据：

权利要求：

百度查询： 武汉理工大学 细粒度结合特征相似度检索的跨域人群计数方法及系统