买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明公开的一种融合RGBEVENT双模态样本的目标跟踪方法，属于计算机视觉技术领域。本发明设计SiamEFT目标跟踪融合网络架构，分别采用ANN和SNN提取RGB模态和EVENT模态的特征信息，避免单一网络对双模态样本的时间和空间信息提取不充分；使用跨模态融合模块将双模态特征信息依据处理的信息特点进行有效融合，在各种复杂场景下充分利用网络处理出的特征信息，提高跟踪器的跟踪精度。本发明使用RGB和EVENT双模态数据进行目标跟踪，RGB数据提供目标丰富的低频和高频纹理信息，EVENT数据提供目标不受运动模糊和不良照明影响的目标边缘信息。采用自适应时间注意力模块将事件数据聚合成帧，按照自适应权重输入后续网络，避免事件数据稀疏不均匀造成的运算量增加。

主权项：1.一种融合RGBEVENT双模态样本的目标跟踪方法，其特征在于：包括如下步骤，步骤一：提取RGBEVENT双模态样本的数据信息并进行预处理，得到RGB模板帧和RGB搜索帧、Events模板帧组和Events搜索帧组；步骤二：通过自适应时间注意力模块分别调整Events模板帧组和Events搜索帧组中每帧的权重，得到新的Events模板帧组和Events搜索帧组；通过平均池化操作分别提取Events模板帧组和Events搜索帧组的空间信息，整形后得到每帧的权重分数；激励阶段根据每帧的权重分数使用全连接网络捕捉时间维度之间的关联性，得到每帧的自适应权重张量；将得到的每帧的自适应权重张量与Events模板帧组和Events搜索帧组对应相乘，得到新的Events模板帧组和Events搜索帧组；步骤三：将步骤一得到的RGB模板帧、RGB搜索帧和步骤二得到的新的Events模板帧组、Events搜索帧组输入SiamEFT网络进行特征提取，得到特征图深度为分别为C、2C、4C的RGB模板特征图和RGB搜索特征图、Event模板特征图和Event搜索特征图；SiamEFT网络中RGB模板帧和RGB搜索帧采用ANN进行特征提取，新的Events模板帧组和Events搜索帧组采用SNN进行特征提取；其中ANN采用ResNet50作为主干网络，提取RGB模板帧和RGB搜索帧的深度空间特征信息，分别得到深度为C、2C、4C的RGB模板特征图和RGB搜索特征图；SNN使用LIF神经元取代ResNet50-2stage中ANN神经元作为主干网络，提取新的Events模板帧组和Events搜索帧组的时间和空间特征信息，得到Event模板特征图和Event搜索特征图；步骤四：使用跨网络融合模块分别融合步骤三得到的Event模板特征图和RGB模板特征图、Event搜索特征图和RGB搜索特征图，得到目标模板和搜索区域；步骤4.1：将Event模板特征图进行时间通道的平均操作，使其尺寸与深度为C的RGB模板特征图一致，即H×W×C；将其重新排列为二维矩阵的形式H×W×C，对二维矩阵进行池化操作得到注意力权重；将二维矩阵与注意力权重相乘得到加权后的特征图并将其按照H×W×C的尺寸大小重新排列，得到调整后的Event模板特征图；步骤4.2：将深度为C的RGB模板特征图和调整后的Event模板特征图进行组合得到组合特征图；将组合特征图经过平均池化和全连接层操作进行特征的降维、压缩和变换得到通道权重，通道权重尺寸为H×W×C；将通道权重与深度为C的RGB模板特征图和调整后的Event模板特征图进行加权得到输出结果；步骤4.3：对输出结果进行多维重置和转置，再次排列成尺寸为H×W×C的新二维矩阵，对新二维矩阵进行池化操作得到新的注意力权重，最后将新二维矩阵与新的注意力权重相乘后与深度为4C的RGB模板特征图组合得到尺寸为H×W×5C目标模板；步骤4.4：对于搜索区域，除输入的Event搜索特征图和RGB搜索特征图尺寸不同外，其余与上述步骤4.1-4.3相同，得到尺寸为H’×W’×5C的搜索区域；步骤五：给定目标模板和搜索区域后，在跟踪头模块中分层聚合不同深度的特征图，融合多个RPN块的输出得到最终目标跟踪结果，即完成在复杂环境下目标的高效率、高精度跟踪。

全文数据：

权利要求：

百度查询： 北京理工大学 一种融合RGB/EVENT双模态样本的目标跟踪方法