买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏大学

摘要：本发明涉及一种用于智慧安防的跨模态行人重识别方法，在四分支特征学习网络中添加一个轻量级的通道注意力模块，只需要增加少量参数，就可以减少背景信息带来的影响；在四分支特征学习网络后添加一个非对称多粒度特征学习模块，通过全局与局部分支的不对称性保证了提取的特征是互补的。本发明提出的一种四分支非对称特征学习网络用于智慧安防的跨模态行人重识别，采用四分支特征学习网络、轻量级的通道注意力模块和非对称多粒度特征学习模块在公开数据集上进行训练，并将训练好的模型权重用于重识别，有效减少了人力和物力的消耗，提高了行人重识别准确率，能够较好的满足智慧安防跨模态行人重识别的需求。

主权项：1.一种用于智慧安防的跨模态行人重识别方法，其特征在于，包括如下步骤：1采集可见光与红外模态的行人图像，构建图像集D，按模态将图像集D分为可见光模态集Xvis和红外模态集Xir；2对可见光模态集Xvis和红外模态集Xir中的图像进行预处理，得到可见光模态张量Ivis和红外模态张量Iir，作为中间模态生成器的输入张量；3构建四分支非对称特征学习网络模型FAFLNet；所述四分支非对称特征学习网络模型FAFLNet包括非对称多粒度特征学习模块AMFL、中间模态生成器MMG和四分支特征学习网络FBAN；其中，所述非对称多粒度特征学习模块AMFL用于生成部分级的特征图和全局级的特征图；所述中间模态生成器MMG用于生成中间模态张量，由编码器、解码器构成；编码器由卷积层、批量归一化、ReLU激活函数组成；解码器由卷积层、ReLU激活函数组成；所述四分支特征学习网络FBAN用于提取图像特征，包括四个参数独立的特征提取器、两个参数独立中级特征学习器和一个参数共享的高级特征学习器；4使用中间模态生成器MMG的编码器对输入的可见光模态张量Ivis和红外模态张量Iir进行降维，得到降维后的一维张量Iv′is和Ii′r；5利用MMG的解码器的1×1卷积对一维张量Iv′is和Ii′r进行升维，得到可见光中间模态张量IMvis和红外中间模态张量IMir，用于在通道层面减少模态差异；6将可见光模态张量Ivis、红外模态张量Iir、可见光中间模态张量IMvis和红外中间模态张量IMir输入到四分支特征学习网络FBAN中，提取带有通道注意力的特征Xi；7将特征Xi输入到FBAN的高级特征学习器中提取三维特征图x；8将三维特征图x输入到非对称多粒度特征学习模块AMFL，生成x部分级的特征图和全局级的特征图；其中，所述部分级的特征图包括部分级的三维特征图x′1、x′2、x′3、x′4和部分级的一维特征图x′1′、x′2′、x′3′、x′4′，所述全局级的特征图包括全局级的三维特征图y′和全局级的一维特征图y″；9使用图像集D对四分支非对称特征学习网络模型FAFLNet进行T次训练，得到T个训练的权重文件；10从T个权重文件中选择测试效果最优的作为最终的模型权重文件best.t；11将一个行人的查询图像和一个图像集输入到四分支非对称特征学习网络模型FAFLNet中，以best.t作为四分支非对称特征学习网络模型FAFLNet的权重，利用网络模型输出的图像特征与图像集中的图像特征进行相似度计算，完成跨模态行人重识别。

全文数据：

权利要求：

百度查询： 江苏大学 一种用于智慧安防的跨模态行人重识别方法