买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种基于四叉树胶囊的深度回归跟踪方法，所述方法包括如下步骤：一、给定当前帧的搜索区域，采用在ImageNet上预训练的VGG‑16网络的conv4‑3和conv5‑3两个特征层作为特征提取器分别提取底层和高层语义表示；二、通过四叉树胶囊模块构造空间胶囊；三、通过多光谱姿态矩阵注意力构造时空胶囊；四、时序胶囊的局部位移；五、将时序胶囊的姿态矩阵压平，并将它们传递给解码器进行解码。本发明利用搜索区域作为输入，提出利用四叉树胶囊架构构建目标与其上下文之间的时空关系。与现有基于胶囊网络的跟踪器相比，在鲁棒跟踪结果的同时，运行速度达到了43FPS，使得基于胶囊网络的跟踪器首次达到了实时处理。

主权项：1.一种基于四叉树胶囊的深度回归跟踪方法，其特征在于所述方法包括如下步骤：步骤一、给定当前帧的搜索区域，采用在ImageNet上预训练的VGG-16网络的conv4-3和conv5-3两个特征层作为特征提取器分别提取底层和高层语义表示；步骤二、通过四叉树胶囊模块构造空间胶囊，具体步骤如下：步骤二一、通过下采样在特征金字塔的每一层构造不同尺度的胶囊；步骤二二、设计对称引导路由算法融合底层特征和高层特征，以此捕获丰富的上下文信息；步骤二三、给定金字塔各个层级的双向胶囊，在相应的空间索引中选取topK个具有最高激活值的胶囊，通过按位加操作整合各个层级的胶囊；步骤三、通过多光谱姿态矩阵注意力构造时空胶囊，具体步骤如下：步骤三一、将每一个胶囊的姿态矩阵存储在缓存中，记为[capsulet-6,capsulet-5,...,capsulet-1]，其中，t-*表示视频帧的时序标签；步骤三二、将每一个胶囊capsule*变形成H×W×C'，其中，H和W表示胶囊的尺寸，C'＝18C，C是胶囊类别的数量与胶囊维度的乘积；步骤三三、对于每一个胶囊capsulei，分配相应的DCT频率： 其中，PMi是姿态矩阵表示，[ui,vi]是PMi对应的2D频率分量；整个多光谱姿态矩阵注意力PMatt表达为：PMatt＝sigmoidfcFreq；其中，sigmoid是激活函数，fc是一层可学习的全连接层；步骤四、时序胶囊的局部位移，具体步骤如下：步骤四一、在在线跟踪过程中，将过去8帧的胶囊表示保存在缓存中；步骤四二、当获得第t帧的姿态矩阵时，通过计算其最后1维的平均值得到一个压缩表示，该压缩表示是原尺寸的18；步骤四三、将t-6帧的姿态矩阵的前18替换为步骤四二得到的压缩表示，将替换后的姿态矩阵作为第t+1帧的时序胶囊；步骤五、将时序胶囊的姿态矩阵压平，并将它们传递给解码器进行解码。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 基于四叉树胶囊的深度回归跟踪方法