买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提供一种基于区域感知的自适应多模态人群计数方法及系统，方法包括获取人群图像数据集并配对获得配准后的多模态图像；根据数据集中训练集的多模态图像提取不同特征层级的输出特征；将提取到的输出特征进行特征融合得到针对每个特征层级的融合图像，拼接生成最终的各模态各特征层级的最终融合图像；根据可见光图像得到各个模态的权重系数以对各个模态的源图像进行相加得到融合源图像；计算融合源图像与最终融合图像的区域感知损失和纹理损失及计数损失得到模型的总损失，根据总损失进行训练模型得到训练后的多模态人群计数模型；根据训练后的多模态人群计数模型预测人数及人群分布。本申请解决了融合模态及策略单一、融合质量不高的问题。

主权项：1.一种基于区域感知的自适应多模态人群计数方法，其特征在于，所述方法基于改进后的Transformer网络，改进后的Transformer网络包括模态特征提取模块、区域感知模块、多模态融合模块、模型压缩模块以及图像重建模块；所述方法包括：获取人群图像数据集，对所述数据集按照模态种类进行划分，并对划分后的数据集根据采集信息进行配对操作以获得配准后的多模态图像，所述配准后的多模态图像包括真实标签图；将所述数据集按比例划分成训练集以及测试集，所述训练集与所述测试集均包括配准后的多模态图像，将所述训练集中的多模态图像分别输入到模态特征提取模块中以提取不同特征层级的输出特征fi-j，其中，i表示多个模态，i=1,2,…,n；j∈（1,2,3,4）；将提取到的不同特征层级的输出特征fi-j输入至多模态融合模块进行特征融合，以得到针对每个特征层级的多模态融合图像Fj，特征层级的多模态融合图像Fj包括F1、F2、F3以及F4，其中，F1为浅层网络的融合图像；F2为第2特征层的融合图像；F3为第3特征层的融合图像；F4为深层网络的融合图像；将所述深层网络的融合图像F4以及浅层网络的融合图像F1输入至模型压缩模块，利用自蒸馏技术用深层融合特征指导浅层融合特征的学习以提高模型收敛速度；将各个特征层级的多模态融合图像Fj进行通道拼接，将拼接后的图像输入至图像重建模块以生成各模态、各特征层级的最终融合图像F；将可见光模态图像RGB输入到区域感知模块以根据具体场景得到各个模态的权重系数，所述权重系数包括W1、W2、…、Wn，根据所述权重系数对各个模态的源图像进行相加以得到融合源图像M；计算所述融合源图像M与所述最终融合图像F的区域感知损失和纹理损失，利用L1范数损失函数计算所述最终融合图像F与所述真实标签图的计数损失，计算深层网络的融合图像F4与浅层网络的融合图像F1的模型压缩损失，并通过权重系数超参数将区域感知损失、纹理损失、模型压缩损失以及计数损失进行加权求和，得到模型的总损失L，根据所述总损失L对多模态人群计数模型进行迭代监督训练以得到训练后的多模态人群计数模型；将目标多模态图像输入至训练后的多模态人群计数模型中进行预测以得到目标多模态图像的人数以及人群分布。

全文数据：

权利要求：

百度查询： 华东交通大学 一种基于区域感知的自适应多模态人群计数方法及系统