申请/专利权人：河南大学

申请日：2021-04-28

公开（公告）日：2024-07-05

公开（公告）号：CN114782977B

主分类号：G06V40/10

分类号：G06V40/10;G06V10/764;G06V10/88;G06V10/82;G06V10/80;G06N3/0464;G06N3/045;G06N3/048;G06N3/09

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2022.08.09#实质审查的生效;2022.07.22#公开

摘要：本发明公开了一种基于拓扑信息和亲和度信息引导行人重识别方法，步骤1：利用ResNet‑50构建行人重识别模型的主干网络，用于提取行人特征；步骤2：自学习图卷积网络的构建，其用于空间拓扑信息的挖掘；步骤3：空间注意力子模块的构建，指导空间注意力的学习；步骤4：通道注意力子模块的构建，指导通道注意力的学习；步骤5：对基于拓扑信息和亲和度信息引导的全局注意力模块组合方式设计与实现；步骤6：对基于拓扑信息和亲和度信息引导的全局注意力模块进行嵌入方式设计。通道注意力融合了通道亲和度信息和通道语义信息来指导通道注意力的学习。以此来提升行人特征的表征能力，提升行人重识别模型的性能。

主权项：1.一种基于拓扑信息和亲和度信息引导行人重识别方法，其特征在于，包括以下步骤：步骤1：利用ResNet-50构建行人重识别模型的主干网络，用于提取行人特征；步骤2：自学习图卷积网络的构建，其用于空间拓扑信息的挖掘；自学习图卷积网络只需要输入点集中所有点的特征X∈RC×N即可，其中C和N分别表示每一个特征点的维度和点集中特征点的个数；步骤3：空间注意力子模块的构建，其利用空间拓扑信息和局部特征的语义信息相融合来指导空间注意力的学习；步骤4：通道注意力子模块的构建，其利用通道亲和度信息和通道语义信息相融合来指导通道注意力的学习；步骤5：对基于拓扑信息和亲和度信息引导的全局注意力模块组合方式设计与实现；步骤6：对基于拓扑信息和亲和度信息引导的全局注意力模块进行嵌入方式设计；在步骤3中，首先，经过主干网络进行特征提取，获得了宽为W，高为H，通道为C的中间特征图X∈RH×W×C，将每一个空间位置上C维向量作为特征点，每一个特征点代表其对应空间位置的局部特征，将这些具有空间局部特征的特征点联合起来形成一个点集Xs＝{x1,x2,x3LxN}，其中N＝H×W；将这个点集Xs送入自学习图卷积网络中，进而获得具有拓扑信息的点集将点集中的特征点按照原来的空间位置构建特征图Cs其中表示自学习图卷积网络生成的特征点的维度，Xt表示具有拓扑信息的特征图，为了获得更加全面的信息，将局部特征的语义信息和空间拓扑信息进行融合，由于这两种信息不属于同一种特征域，需要将它们分别送入1×1的卷积层，并将其拼接获得空间融合特征Fs：Fs＝[PsLsX,TsXt]；Ls和Ts分别表示局部特征和具有拓扑信息的特征图的嵌入函数，该函数是使用带有批正则化层和ReLU激活函数的1×1卷积层，Ls的输出维度设为原来的1r，Ts的输出维度与原来相同，表示沿着通道方向做平均池化操作，将其维度减小到1，最终获得空间融合特征Fs∈RH×W×1+C，并设计了一个浅层神经网络利用空间融合特征Fs来学习空间注意力As：As＝SigmoidL2L1Fs；L1和L2分别表示这个小型网络的第一层和第二层卷积层，L1是由一个1×1的卷积层和批正则化层以及ReLU激活函数组成，L1将通道维度缩减到原来的1r，L2是由的卷积层和批正则化层组合而成，L2将通道维度缩减为1，通过融合局部特征的语义信息和空间拓扑信息来学习空间注意力权重，获得的特征图Xs可以表示为：Xs＝AseX；其中As∈RH×W×1表示空间注意力图，X∈RH×W×C表示输入特征，e表示对应空间位置的乘法运算；在步骤4中，利用主干网络，提取行人图像的中间特征图X∈RH×W×C，其宽为W，高为H，通道为C；将中间特征图X分割成C个通道，将每一个通道变换为一个大小为H×W的特征向量，将所有通道特征组成一个点集Xc＝{x1,x2,x3LxC}，那么特征点i和特征点j成对的亲和度关系表示为： fcg是一个计算成对特征点之间亲和度的函数，其中和ψ是两个独立的1×1卷积层，其后面连接批正则化层和ReLU激活函数，并将输出维度调整为原来的1s，那么，经过相似关系加权过的特征向量xai可以表示为： xi表示点集Xc中的第i个点的特征向量，C表示Xc中包含的点的总数，之后，可以获得经过相似关系加权后的点集将这些特征点按照对应的通道顺序连接起来组合成特征图Xa∈RHW×C×1；与空间注意力子模块相似，用同样的方法融合通道语义信息和通道亲和度信息来获取通道融合特征Fc：Fc＝[PcLcX,AcXa]；1Pc表示沿着空间维度的全局平均池化操作，从而将维度缩减到1，Lc和Ac类似于公式4的Ls和Ts，获得通道融合特征Fc∈R1×1+HW×C，类似于公式5，通过通道融合特征Fc学习通道注意力Ac，经过通道注意力子模块可以获得特征图Xc： 其中Ac∈R1×1×C表示通道特征图，X∈RH×W×C表示输入特征，表示对应通道上的乘法运算。

全文数据：

权利要求：

百度查询： 河南大学 一种基于拓扑信息和亲和度信息引导行人重识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD