买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种基于状态空间模型鲁棒时空上下文建模的可见光‑热红外目标跟踪方法，属于机器学习、计算机视觉、目标跟踪领域。通过利用视觉状态空间模型的线性长序列建模能力，将长期跨帧集成组件和短期历史轨迹提示嵌入到双向视觉状态空间模型编码器（Mamba）中，在单流框架中进行全局外观信息和局部运动信息时空上下文统一建模。本发明跳出注意力机制计算量随序列长度平方增长的限制，首次提出基于状态空间模型（StateSpaceModels）的可见光‑热红外跟踪框架，本发明的方法利用其计算量随序列长度线性增长的优势，能够以较低的计算复杂度实现多源长序列输入下的高效运行。

主权项：1.一种基于状态空间模型鲁棒时空上下文建模的可见光-热红外目标跟踪方法，其特征在于，步骤如下：步骤1：在第一阶段的模型训练过程中，将长期跨帧集成组件嵌入到双向视觉Mamba编码器中，利用视频级输入序列来训练单流的双向视觉Mamba编码器，以学习集成长时跨帧外观信息的能力；步骤2：在第一阶段训练的基础上，将短期历史轨迹提示嵌入到双向视觉Mamba编码器中，增加第二阶段的训练；步骤3：跟踪模型推理阶段，设计在线模板记忆存储选择机制来存储并且筛选跟踪过程中的多帧模板；步骤1的具体过程如下：步骤1.1：从同一段视频序列中，在最大采样间隔中随机抽取帧作为模板图像对，抽取1帧作为搜索图像对，模板图像对和搜索图像对都包含可见光和热红外双模态图像；用分别表示可见光和热红外的模板图像对集，用分别表示可见光和热红外单帧的搜索图像对，其中分别是模板帧在经过裁剪和缩放之后的包含目标在中心的模板图像对的高和宽，分别是搜索帧在经过裁剪和缩放之后的包含目标在中心的搜索图像对的高和宽；步骤1.2：在输入到双向视觉Mamba编码器之前，所有的模板图像对和搜索图像对都会经过一层图像块嵌入层，将所有的原始3维图像嵌入到特征空间中，成为嵌入模板向量和嵌入搜索向量；在嵌入模板向量，在嵌入搜索向量中逐元素添加位置编码，其中，、表示模板向量和搜索向量的长度，是嵌入空间的维度；步骤1.3：将所有添加了位置编码的嵌入模板向量和嵌入搜索向量沿长度维度拼接，并通过堆叠的层双向视觉Mamba编码器： 所述的双向视觉Mamba编码器主要包括归一化层、线性输入映射层、选择性结构化状态空间扫描模块S6、线性输出映射层；（A）输入的图像块嵌入向量首先通过归一化层进行归一化，然后由两个线性输入映射层分别处理，以将维度升维到内部维度；从该过程中获得的中间特征表示为，这一过程用数学公式表达为： 其中，RN和分别代表均方根归一化RMSNormalization和升维线性层；（B）中间特征会分别经过两个支路，经过SiLU激活函数的激活之后，与经过一维卷积、SiLU激活函数和选择性结构化状态空间扫描模块S6的进行哈达玛乘积；中间特征会经过前向和反向的双向扫描；（C）前向和反向双向扫描的中间特征逐元素相加后，通过线性输出映射层将内部维度降维到维度；（D）如此往复步骤（A）至步骤（C），依次经过堆叠的层双向视觉Mamba编码器；整个通过堆叠的层双向视觉Mamba编码器的过程用下面的数学方式表达，下标代表前向和反向两种扫描方向： 其中，代表的是选择性结构化状态空间扫描模块；第二阶段的训练过程具体如下：步骤2.1：使用共享词汇表将连续坐标转换为离散向量序列；具体来说：首先，利用第一阶段训练的模型，重新对训练集中的每一个视频序列进行推理，得到在训练集上的伪标签，伪标签即不完全准确的模型预测的目标坐标；接着，设当前搜索区域帧的索引为，采样之前连续帧的伪标签作为短期历史轨迹提示： 其中，表示第帧目标左上角横轴坐标，表示第帧目标左上角纵轴坐标，表示第帧目标右下角横轴坐标，表示第帧目标右下角纵轴坐标，表示第帧目标位置状态，由四个连续坐标值构成；将不同帧的目标位置状态，，都映射到同一个当前搜索区域坐标系下，获得映射后的历史轨迹提示集合记作；最后，每个中的连续坐标值将统一归一化并离散为[1，nbins]之间的整数；每个整数充当索引，从共享词汇表中检索坐标嵌入向量；步骤2.2：采用膨胀系数来扩展共享词汇表的实际表示范围；此外，随着坐标嵌入向量添加一个坐标查询向量，用于和真值之间计算L1损失，以进行辅助监督；步骤2.3：串联图像块嵌入向量、坐标嵌入向量和坐标查询向量，并将它们馈送到双向视觉Mamba编码器中以进行统一的上下文建模；现在每层双向视觉Mamba编码器的输入输出重新表述如下： 。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于状态空间模型鲁棒时空上下文建模的可见光-热红外目标跟踪方法