买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网江苏省电力有限公司南京供电分公司

摘要：本发明涉及视觉目标跟踪技术领域，尤其涉及一种基于三重注意力机制的孪生网络目标跟踪方法和系统，所述方法为：获取给定视频作为原始数据；构建基于三重注意力机制的孪生网络作为目标跟踪模型；基于原始数据通过损失函数对目标跟踪模型进行训练；获取待跟踪视频，输入至训练好的目标跟踪模型中，进行目标跟踪。本发明提升对相似物特征的判别能力，能够稳定地跟踪目标。

主权项：1.基于三重注意力机制的孪生网络目标跟踪方法，其特征在于，包括：步骤S100：获取给定视频作为原始数据；步骤S200：构建基于三重注意力机制的孪生网络作为目标跟踪模型；其中，目标跟踪模型包括：图像提取模块、特征提取模块、三重注意力机制网络、深度互相关运算模块和无锚点分类回归网络；其中，图像提取模块提取给定视频中视频初始帧目标的模板图像和视频后续帧目标的搜索图像；特征提取模块对模板图像和搜索图像进行特征提取，得到模板特征图和搜索特征；特征提取模块包括参数共享的模板特征提取网络和搜索特征提取网络；三重注意力机制网络使用交叉注意力与空间注意力结合机制分别对模板特征和搜索特征进行提优增强；深度互相关运算模块对提优增强后的模板特征和搜索特征进行深度互相关运算，得到多通道相似度响应图；无锚点分类回归网络对多通道相似度响应图上每个点进行正负样本分类、中心得分约束和边界框回归，预测目标在每一帧中的位置；步骤S300：基于原始数据通过损失函数对目标跟踪模型进行训练；步骤S400：获取待跟踪视频，输入至训练好的目标跟踪模型中，进行目标跟踪；所述步骤S200的三重注意力机制网络中，利用交叉注意力建模通道维度和空间维度之间的跨维度特征依赖，挖掘目标的细粒度特征，以及聚焦关键特征所在的空间区域，得到提优增强的模板特征与搜索特征；其中，三重注意力机制网络使用交叉注意力与空间注意力结合机制分别对模板特征和搜索特征进行提优增强的方法为：步骤A1：将给定特征图送入到交叉注意力模块的第一分支，第一分支用于建模通道维度C和高度维度H之间的特征依赖；将特征图沿高度维度H轴顺时针旋转90°，得到旋转后的特征图；将旋转后的特征图输入池化层进行池化，得到池化后的特征图；将池化后的特征图送入卷积层，经过卷积操作后并进行批归一化处理，随后输入到Sigmoid激活层，得到权重矩阵；通过元素乘法将权重矩阵作用于旋转后的特征图进行过滤；将特征图沿高度维度H轴逆时针旋转90°，得到在通道维度C和高度维度H之间建模提优的特征图；步骤A2：将给定特征图送入交叉注意力模块的第二分支，第二分支用于建模通道维度C和宽度维度W之间的特征依赖；将特征图沿宽度维度W轴逆时针旋转90°，得到旋转后的特征图；将旋转后的特征图输入池化层进行池化，得到池化后的特征图；将池化后的特征图送入卷积层，经过卷积操作后并进行批归一化处理，随后输入到Sigmoid激活层，得到权重矩阵；通过元素乘法将权重矩阵作用于旋转后的特征图进行过滤；将特征图沿宽度维度W轴顺时针旋转90°，得到在通道维度C和宽度维度W之间建模提优的特征图；步骤A3：将给定特征图送入空间注意力模块；将给定特征图直接输入池化层进行池化压缩，得到池化后的特征图；将池化后的特征图送入卷积层，经过卷积操作后并进行批归一化处理，随后输入到Sigmoid激活层，得到权重矩阵；通过哈达玛积算法将权重矩阵作用于给定特征图，得到对目标区域敏感的特征图；步骤A4：将经过交叉注意力模块两个分支输出的特征图与空间注意力模块输出的特征图进行平均线性融合，获得新的特征图，得到提优增强后的特征。

全文数据：

权利要求：

百度查询： 国网江苏省电力有限公司南京供电分公司 基于三重注意力机制的孪生网络目标跟踪方法和系统