买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学;厦门大学深圳研究院

摘要：基于层次注意力多任务深度模型的行人再识别方法，涉及计算机视觉。包括以下步骤：根据行人再识别数据集构建焦点图；设计层次注意力的多任务深度模型的行人再识别网络模型，通过该模型推断出行人间的相似性；计算两个子任务的分类损失和，通过反向传播和随机梯度下降法对网络模型进行端到端的训练，得到训练好的模型；利用训练好的网络模型测试行人再识别的识别效果，输出行人间的相似度，并按照其大小降序排序。能充分共享在底层细节和高层语义方面具有不同区分力的层次特征提升深度相似性学习性能。在焦点图节点多层近邻聚合间引入注意力机制，使每层近邻聚合后具有区分性的节点通道信息更具重要性，促进对样本间复杂相似性关系的深度推断。

主权项：1.基于层次注意力多任务深度模型的行人再识别方法，其特征在于包括以下步骤：1）根据行人再识别数据集构建焦点图，具体步骤为：1.1利用预训练的ResNet-50网络提取训练集中所有行人图像的深度特征；1.2将每一个特征都当作是一个焦点，计算每个焦点和其他所有节点的欧氏距离并当作相似度，求得每个焦点的前k个近邻；1.3针对每个焦点和它的近邻集，为它们之间建立连接以构建焦点图；建立连接的具体规则为：若某个近邻的近邻集中存在节点，也在当前焦点的近邻集中，则将这些节点和这个近邻相连；那么对于当前焦点，它的焦点图建立完毕，然后对其他所有焦点重复1.2和1.3步骤，即得到所有的焦点图；2）设计层次注意力的多任务深度模型的行人再识别网络模型，通过该模型推断出行人间的相似性，具体步骤为：2.1在第一个节点分类任务中，ResNet-50模型为主干网络，提取焦点图中节点的特征，ResNet-50在第一次卷积之后被分成三个阶段，分别是第二、三、四层残差层；每个阶段后增加了一个特征增强模块；特征增强模块内部，首先对输入的特征分别进行全局平均池化和全局最大池化，并将两个池化结果相加后，进行批正则化，激活后再进入一个神经元个数为512的全连接层中，最后输出该阶段的特征；在第一个卷积和所有残差层之后，增加特征通道注意力学习模块，在该特征通道注意力学习模块中，学习每个通道特征的权重，权重大小控制在0~1之间，然后将权重和原特征相乘，再进行下一阶段的操作；2.2在相似性推断任务中，设计了关系增强图卷积网络；焦点图的特征和邻接矩阵输入后，首先经过图卷积对节点特征矩阵进行邻域聚合和转换，对特征进行全局平均池化，压缩后输入到两个全连接层中，最后通过激活函数将其大小限制在0~1之间，然后在乘上图卷积输出之后的特征，并作为下一阶段的输入；最后的节点特征会经过两个全连接层，最后一个全连接层的神经元个数是2，表示将对特征进行二分类；3）计算两个子任务的分类损失和，通过反向传播和随机梯度下降法对网络模型进行端到端的训练，最终得到训练好的模型，具体步骤为：3.1节点分类任务中，三个阶段的特征按列拼接后，融合成一个共享特征，该共享特征经过一个全连接层，对其进行分类训练，损失函数为交叉熵损失；相似性推断任务中，关系增强图卷积之后的特征经过两个全连接层，对其进行二分类，用于预测节点之间是否应当连接；3.2两个任务的损失相加作为总损失，通过反向传播和随机梯度下降法对网络模型进行训练更新；4）利用训练好的网络模型测试行人再识别的识别效果，输出行人间的相似度，并按照其大小降序排序。

全文数据：

权利要求：

百度查询： 厦门大学 厦门大学深圳研究院 基于层次注意力多任务深度模型的行人再识别方法