买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本申请涉及一种基于注意力特征融合与多列特征增强的人群计数方法。该方法包括：获取待识别人群图像，将待识别人群图像输入训练好的人群计数网络模型的概率图生成网络模块中进行处理，输出概率图，再将待识别人群图像和概率图输入训练好的人群计数网络模型的密度图回归网络模块中进行处理，输出密度图，密度图回归网络模块包括多列特征增强网络和双注意力特征融合网络；进而对密度图进行积分运算，获得待识别人群图像中的人群计数。由此，从而提高人群图像的计数准确性。

主权项：1.一种基于注意力特征融合与多列特征增强的人群计数方法，其特征在于，所述方法包括：获取待识别人群图像；将所述待识别人群图像输入训练好的人群计数网络模型的概率图生成网络模块中进行处理，输出概率图；将所述待识别人群图像和所述概率图输入所述训练好的人群计数网络模型的密度图回归网络模块中进行处理，输出密度图，所述密度图回归网络模块包括多列特征增强网络和双注意力特征融合网络；对所述密度图进行积分运算，获得所述待识别人群图像中的人群计数；所述概率图生成网络模块包括使用VGG-16网络的前13个卷积层和前4个最大池化层构成的编码器、第一上采样、第一拼接操作、第二拼接操作、第三拼接操作、第四拼接操作、第一特征调整单元、第二特征调整单元、第三特征调整单元、第四特征调整单元；所述将所述待识别人群图像输入训练好的人群计数网络模型的概率图生成网络模块中进行处理，输出概率图，包括：所述待识别人群图像输入所述编码器进行特征提取，获得不同尺度的五张特征图，按照尺度从大到小依次为：第一特征图、第二特征图、第三特征图、第四特征图和第五特征图；所述第五特征图输入所述第一上采样进行双线性插值上采样后，采用所述第一拼接操作与所述第四特征图进行拼接，获得第一拼接特征；所述第一拼接特征输入所述第一特征调整单元进行特征调整后，采用所述第二拼接操作与所述第三特征图进行拼接，获得第二拼接特征；所述第二拼接特征输入所述第二特征调整单元进行特征调整后，采用所述第三拼接操作与所述第二特征图进行拼接，获得第三拼接特征；所述第三拼接特征输入所述第三特征调整单元进行特征调整后，采用所述第四拼接操作与所述第一特征图进行拼接，获得第四拼接特征；所述第四拼接特征输入所述第四特征调整单元进行特征调整，获得概率图；所述密度图回归网络模块包括：使用VGG-16网络的前13个卷积层和前5个最大池化层构成的特征提取单元、第一多列特征增强单元、第二多列特征增强单元、第一双注意力特征融合单元、第二双注意力特征融合单元和密度图生成单元；所述将所述待识别人群图像和所述概率图输入所述训练好的人群计数网络模型的密度图回归网络模块中进行处理，输出密度图，包括：将所述待识别人群图像和所述概率图输入所述特征提取单元进行特征提取，获得所述特征提取单元的第10个卷积层输出的第六特征图、所述特征提取单元的第13个卷积层输出的第七特征图和所述特征提取单元的第5个最大池化层输出的第八特征图；所述第八特征图输入第一多列特征增强单元进行特征增强，获得第一增强特征图；将所述第一增强特征图和所述第七特征图输入所述第一双注意力特征融合单元进行特征融合，获得第一融合特征图；将所述第一融合特征图输入第二多列特征增强单元进行特征增强，获得第二增强特征图；将所述第二增强特征图和所述第六特征图输入所述第二双注意力特征融合单元进行特征融合，获得第二融合特征图；将所述第二融合特征图输入所述密度图生成单元进行密度图生成，获得密度图；所述第一多列特征增强单元和所述第二多列特征增强单元为结构相同的多列特征增强网络，所述多列特征增强网络包括多列增强结构和注意力结构；输入所述多列特征增强网络的特征图分别输入多列增强结构和注意力结构中，经过注意力结构获得注意力权重，以及经过多列增强结构获得增强特征，再将注意力权重和增强特征进行点乘，输出增强特征图；所述第一双注意力特征融合单元和所述第二双注意力特征融合单元为结构相同的双注意力特征融合网络，所述双注意力特征融合网络包括：第十三卷积、第十四卷积、第三Relu激活函数、第十五卷积、第二全局平均池化、第十六卷积、第四Relu激活函数、第十七卷积、第二Sigmoid函数、平均池化、最大池化、第十八卷积和第三Sigmoid函数；输入到双注意力特征融合网络的深层增强特征图进行上采样后，再与输入到双注意力特征融合网络的浅层特征图拼接后输入所述第十三卷积进行处理，获得第一特征；对所述第一特征依次通过所述第十四卷积、所述第三Relu激活函数和所述第十五卷积进行操作，输出第一操作结果；对所述第一特征依次通过所述第二全局平均池化、所述第十六卷积、所述第四Relu激活函数和所述第十七卷积进行操作，输出第二操作结果；将所述第一操作结果和所述第二操作结果相加后使用所述第二Sigmoid函数激活，获得一个0到1之间的权值w；将所述权值w与所述深层增强特征图相乘，获得处理后的深层特征图；将权值1-w与所述浅层特征图相乘，获得处理后的浅层特征图；将处理后的深层特征图与处理后的浅层特征图相加，获得初步融合特征图；将所述浅层特征图分别采用所述平均池化、所述最大池化进行操作的结果进行拼接后，输入到所述第十八卷积处理后通过所述第三Sigmoid函数激活，激活后的输出作为权重与所述初步融合特征图相乘，获得融合特征图。

全文数据：

权利要求：

百度查询： 南京信息工程大学 基于注意力特征融合与多列特征增强的人群计数方法