龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：西安电子科技大学
摘要：本发明公开了一种基于多维度视频信息交互的视频时刻检索方法，主要解决现有技术难以提取视频中多样性定位内容导致跨模态对齐困难和检索不精确的问题。其实现方案为：使用公开的视频时刻检索数据集构建训练集；构建包括文本特征提取模块、视频特征提取模块、多维度二维时序特征图生成模块、场景分割候选时刻表示增强模块、跨模态交互和时刻检索模块的视频时刻检索网络；利用训练集通过梯度下降法对视频时刻检索网络进行训练；利用训练好的网络前向计算完成文本相对应的视频时刻的检索。本发明通过多维度视频信息交互，构建多维度二维时序特征图并增强特征表示，促进了跨模态语义匹配，提高了模型的检索性能，可用于智慧教育和安全监控。
主权项：1.一种基于多维度视频信息交互的视频时刻检索方法，其特征在于，包括如下步骤：1构建视频时刻检索训练集，训练集中的每个样本中包含视频、文本查询、真实时刻标签相对应的三项数据；2构建视频时刻检索网络：2a分别通过稀疏采样和池化采样生成两个多维度二维时序特征图M1和M2；2b通过场景分割视频片段建立特征图Ms，并对两个多维度二维时序特征图M1和M2进行候选时刻特征表示增强，得到增强后的两个多维度二维时序特征图和2c选用现有的文本查询特征提取模块和视频特征提取模块进行并联后，再与增强后的两个多维度二维时序特征图及现有的跨模态交互和时刻检索模块依次级联，组成视频时刻检索网络；3利用训练集通过梯度下降法对视频时刻检索网络进行训练，得到训练好的视频时刻检索网络；4将待查询文本及其对应的视频输入到训练好的视频时刻检索网络，通过前向计算完成待查询文本语义相对应的视频时刻片段的检索。
全文数据：
权利要求：
百度查询： 西安电子科技大学 基于多维度视频信息交互的视频时刻检索方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号