买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学;大连理工大学宁波研究院

摘要：本发明属于机器学习、计算机视觉、目标跟踪领域，公开了一种基于共显著性学习的弱监督目标跟踪方法，通过设计弱监督共显著性注意力模块，嵌入基准跟踪算法中，实现模型的弱监督训练。本发明能够使现有基准跟踪算法在降低约30倍训练标注数据的使用情况下，获得与基准跟踪算法相近或更优的性能，有效地解决了现有基准跟踪算法对大规模标注数据的依赖问题，降低了现有模型的训练成本，并缓解了现有跟踪训练数据集的迫切需求。

主权项：1.一种基于共显著性学习的弱监督目标跟踪方法，其特征在于，步骤如下：步骤1：选择基于孪生网络的跟踪算法SiamRPN++作为基准跟踪算法，沿用基准跟踪算法中的骨干网络、区域生成网络RPN、分类分支以及回归分支，并在其中以多层级的方式嵌入弱监督共显著性注意力模块CSA，构建弱监督跟踪模型，具体为：弱监督共显著性注意力模块CSA用于捕捉模板图像、中间图像以及搜索图像中的共同显著目标，即来自多个视频帧中的共同目标前景区域；其中，模板图像裁剪自初始帧、搜索图像裁剪自当前帧、中间图像在训练阶段由未标注的中间帧裁剪获得，推理阶段则采用具有高置信分数的某一历史帧；弱监督共显著性注意力模块CSA输出的注意力图用来加权至当前搜索图像的特征图中，使当前搜索图像的特征图中的目标前景信息被加强，背景区域被弱化；被加强的当前搜索图像的特征图用来进一步实现后续的目标位置预测；上述基于孪生网络的跟踪算法SiamRPN++构造的弱监督跟踪模型的推理运行过程表示如下： 其中，表示从基准跟踪算法的骨干网络中获取的特征图，k表示预定义锚框数，表示模板，w、h分别表示输出响应图的宽与高；如上式所示，被增强的当搜索图像的特征图将进一步与模板特征分别在分类分支与回归分支中进行互相关操作，从而对目标框中心点与偏移量进行预测；其中，分类分支cls与回归分支reg分别输出2k与4k维的特征向量；为适配基准跟踪算法的多层级融合结构，在基准跟踪算法骨干网络的第三、四、五层后分别嵌入各自独立的弱监督共显著性注意力模块CSA，分别对不同层级输出的特征图进行显著化增强；对于弱监督共显著性注意力模块CSA的注意力图计算与增强过程，设计了两个分支，分别为通道级归一化互相关模块和空间级归一化互相关模块，对所输入的不同帧的搜索图像特征图，其中T表示输入特征图的总数量，输入特征图尺寸为，空间大小为，通道数为C，分别获取空间层面的共同目标前景区域与通道层面的共同重要通道特征；具体如下：首先，骨干网络获得的模板特征图、中间帧特征图和搜索区域特征图均分别被输入通道卷积层及空间卷积层，通道卷积层及空间卷积层均包含一个卷积层和一个非线性激活层ReLU，分别输出尺度为和的低维特征图，其中、以及远小于原始特征图的尺度C、H以及W；随后，采用归一化互相关NCC来计算多个特征图之间的相似性，其中维度为的两个特征向量之间的NCC操作可定义如下： 其中，和分别表示两个特征向量P和Q的均值和标准差；具体如下：低维特征图组和分别被输入通道级归一化互相关模块和空间级归一化互相关模块中，并通过通道级归一化互相关模块和空间级归一化互相关模块计算出T帧数据关于通道层面以及空间层面的共同显著目标；对于空间级归一化互相关模块，中的每一个空间位置被视为一个维度为的特征向量，表示为，该特征向量描述了位置处的局部信息，其中，；使用空间级归一化互相关模块来计算处的局部信息与其他所有帧的所有位置信息的相似性，表示为下式： 空间级归一化互相关模块的输出是一个三维的注意力图，其记录了第t帧中每一个位置与其他帧中的所有位置的相关性信息；为除特征向量；因此，多个视频帧中的共同前景的空间位置将被激活；通道级归一化互相关模块的流程与空间级归一化互相关模块的流程类似，计算出一个通道注意力图，其记录了第t帧搜索图像中的每一个通道与其他T-1帧的所有通道之间的相似性，从而显著化所有视频帧中共同重要的通道；通道级归一化互相关模块和空间级归一化互相关模块记录了空间层面及通道层面相似信息的注意力图SA和CA，二者通过一个卷积层处理，分别转换为和；最终的空间-通道注意力图通过如下操作获得： 其中，空间-通道注意力图Attn是一个的矩阵，多个不同视频帧中共同重要的通道与共同显著的空间位置均在此矩阵中被高亮，而其他部分则被弱化；参考初始帧与随机一个中间帧的信息，计算当前帧特征图的共同显著注意力图；该注意力图随后与当前帧特征图逐元素相乘，使得最终特征图中的目标区域与重要通道被显著化；步骤2：弱监督跟踪模型推理阶段，设计记忆存储机制来存储跟踪过程的多帧目标信息，从而使弱监督跟踪模型适应目标外观变化；记忆存储机制包含一个保存多帧特征的记忆池以及对每帧跟踪结果的置信分数；其中，记忆池中包含初始帧搜索区域特征以及跟踪过程中具有最高置信度分数的中间帧特征；这两个特征被视为辅助信息与当前帧特征共同输入弱监督共显著性注意力模块CSA，进而获得目标区域被高亮的当前帧特征图；置信分数是为了使高置信度的目标信息更加接近当前的跟踪状态，用于度量是否更新的置信度分数将同时考虑跟踪结果的置信分数以及时间因素，表示如下： 当置信度分数大于记忆池中对应特征的分数时，对记忆池中的特征进行更新；式中和分别表示弱监督跟踪模型预测的跟踪结果置信分数和帧数。

全文数据：

权利要求：

百度查询： 大连理工大学 大连理工大学宁波研究院 一种基于共显著性学习的弱监督目标跟踪方法