买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学;哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);浙江大华技术股份有限公司;山东师范大学

摘要：本发明属于目标视频片段定位技术领域，提供了一种基于语义对齐的目标视频片段定位方法、系统及产品，其技术方案为基于不同层次上的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，对齐视频和文本两种模态的语义特征；推测缺失的模态语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视觉与文本特征，对目标视频片段定位。本发明能进行有效的跨模态语义对齐建模，从而克服了多模态信息缺失与语义信息模糊的问题，实现目标视频片段的准确检索。

主权项：1.一种基于语义对齐的目标视频片段定位方法，其特征在于，包括如下步骤：获取视频片段候选集和文本，对获取的视频片段和文本进行预处理；分别对预处理后的视频片段和文本进行不同语义层次的特征提取，得到不同语义层次的视频和文本两种模态的语义特征；基于不同语义层次的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，进行语义对齐训练，得到语义对齐后的视频片段和文本语义特征；根据语义对齐后的视频片段和文本语义特征，推测缺失的视频片段和文本语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视频与文本特征；基于替换后视频与文本特征，进行相似度计算，对目标视频片段进行定位。

全文数据：

权利要求：

百度查询： 山东大学 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 浙江大华技术股份有限公司 山东师范大学 一种基于语义对齐的目标视频片段定位方法、系统及产品