龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明提供一种轻量化多模态目标跟踪方法，属于计算机视觉、目标跟踪领域。将多专家模型的结构设计思路、多模态特征空间调制模块、时序的提示词模块嵌入一个简洁统一的多模态目标跟踪模型框架中，并以性能优异的多模态跟踪模型作为教师模型进行蒸馏引导，实现高效且性能较好的多模态跟踪算法。本发明可以同时处理RGB‑红外、RGB‑深度、RGB‑事件数据的多模态跟踪任务，与现有的高性能多模态跟踪算法相比，能够以较小的性能损失在CPU设备和端侧设备上达到实时速度，实现较好的性能和速度的平衡。
主权项：1.一种轻量化多模态目标跟踪方法，其特征在于，步骤如下：步骤1：选择轻量化预训练算法D-MAE-Tiny的权重作为初始化权重，以目标跟踪算法OSTrack的训练模式和跟踪预测网络，并使用RGB模态目标跟踪数据进行全参数微调，获得RGB跟踪算法模型权重；步骤2：以步骤1中获得的RGB跟踪算法模型权重作为初始化权重，选择目标跟踪算法OSTrack中的单流跟踪模型结构以及其跟踪预测网络构建多模态目标跟踪模型；多模态目标跟踪模型包括图像块编码模块、多模态特征空间调制模块和多专家思路的编码层模块，所述的多专家思路的编码层模块包括共享的自注意力模块和不共享的多层感知机；在多模态目标跟踪模型中，为不同的模态设计结构相同但不共享权重的图像块编码模块，在图像块编码模块后，插入多模态特征空间调制模块对RGB模态和辅助模态进行自适应特征融合；然后通过多专家思路的编码层模块分别处理不同的辅助模态和RGB模态的特征融合信息；在多专家思路的编码层模块中，不同的辅助模态共享自注意力模块权重、不同的辅助模态不共享多层感知机权重；辅助模态包括红外模态、深度模态和事件模态，辅助模态和RGB模态构成不同的模态；步骤3：在经过步骤2的结构设计和模型训练后，采用轻量的时序提示词模块将前一帧的高层次语义信息引入到当前帧中；步骤4：给定RGB模态视频数据和对应的红外模态深度模态事件模态视频数据的初始帧和初始帧待跟踪目标标注框，进行多模态目标跟踪，其中对于多专家思路的编码层模块，只激活某特定的辅助模态的多层感知机的参数。
全文数据：
权利要求：
百度查询： 大连理工大学 一种轻量化多模态目标跟踪方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号