买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明属于视频文本定位技术领域，具体公开了基于跨模态语义层次图的细粒度视频文本定位方法及系统，通过构建从全局到局部的跨模态语义层次图，实现了更精细的查询‑视频片段对齐，这种层次化的语义对齐能够最大化互信息，从而提高视频定位的准确性。本发明通过层次化图交互，从粗到细融合文本和视频特征，实现细粒度的语义交互，用于时间定位得分学习，能够在两种模态之间建立多粒度的内在联系，避免了由内容选择性偏见引起的低泛化问题，还可以丰富不同层次的时间线索，促进精确的视频定位。本发明可整合基于提案和无提案方法的优势，提高视频文本定位任务的性能，增强模型的泛化能力，为实际应用中的视频理解提供新的视角。

主权项：1.基于跨模态语义层次图的细粒度视频文本定位方法，其特征在于，包括：获取输入的查询文本和目标视频；对目标视频进行视频编码，得到目标视频的视频特征，并将目标视频分割为若干候选片段，提取各候选片段的视频特征，对查询文本进行文本编码，得到查询文本的查询特征；对查询特征进行层次解析，得到查询文本的查询分层嵌入表示，对各候选片段的视频特征进行分层编码，得到各候选片段的视频分层嵌入表示；对查询分层嵌入表示及对应候选片段的视频分层嵌入表示进行层次语义对齐分析，确定查询分层嵌入表示与对应视频分层嵌入表示的层次相似度，将所述层次相似度关联对应的候选片段；将目标视频的视频特征进行分层编码，得到目标视频的视频分层嵌入表示，并基于查询分层嵌入表示和目标视频的视频分层嵌入表示进行跨模态时间预测，得到完整定位得分；根据完整定位得分、候选片段的数量以及各候选片段的开始时间和结束时间，确定各候选片段的分段定位得分；获取通过定位回归分析确定的先验参数，所述先验参数包括IoU值；将层次相似度、分段定位得分及IoU值相乘，得到对应候选片段的最终定位得分；将所有候选片段中最终定位得分最高的作为查询文本的目标定位片段，并输出目标定位片段；所述目标视频的视频特征表示为，其中，表征目标视频的视频特征分量，T表征视频的候选片段数量，t表征候选片段编号，R表征实数集，D表征特征维度；所述候选片段的视频特征表示为，其中，表征候选片段的视频特征分量，表征视频特征分量数量，表征视频特征分量编号；所述查询文本的查询特征表示为，其中，表征查询文本的查询特征分量，表征查询特征分量数量，表征查询特征分量编号；所述对查询特征进行层次解析，得到查询文本的查询分层嵌入表示，包括：基于BERT模型对查询特征Q进行层次解析，得到全局节点表示=，动作节点表示，以及对象节点表示，其中，为动作节点数量，为对象节点数量；采用预置的查询嵌入转换式对各分层节点表示进行转换处理，得到查询文本的查询分层嵌入表示，所述查询嵌入转换式为，其中，为设定的图节点转换矩阵，，为查询全局嵌入表示，为查询动作嵌入表示，为查询对象嵌入表示，=；所述对各候选片段的视频特征进行分层编码，得到各候选片段的视频分层嵌入表示，包括：采用设定的片段嵌入转换式对候选片段的视频特征进行分层编码，得到候选片段的视频分层嵌入表示，所述视频分层嵌入表示包括视频全局嵌入表示，视频动作嵌入表示，以及视频对象嵌入表示，所述片段嵌入转换式为 其中，视频全局嵌入表示，视频动作嵌入表示==，视频对象嵌入表示==，为设定第一映射矩阵，为设定第二映射矩阵，为设定第三映射矩阵，为设定第四映射矩阵；所述对查询分层嵌入表示及对应候选片段的视频分层嵌入表示进行层次语义对齐分析，确定查询分层嵌入表示与对应视频分层嵌入表示的层次相似度，包括：计算查询全局嵌入表示与视频全局嵌入表示的余弦相似度，，其中，表征余弦相似度运算；计算查询动作嵌入表示与视频动作嵌入表示的余弦相似度， 其中，表征函数运算，为设定系数，，max表征取最大值算子；计算查询对象嵌入表示与视频对象嵌入表示的余弦相似度， ；计算查询分层嵌入表示与对应视频分层嵌入表示的层次相似度，；所述基于查询分层嵌入表示和目标视频的视频分层嵌入表示进行跨模态时间预测，得到完整定位得分，包括：采用预置的跨模态图卷积网络对查询分层嵌入表示及目标视频的视频分层嵌入表示进行层次聚合处理，得到综合特征F；基于综合特征F，采用设定的跨模态定位得分算式进行定位预测，得到完整定位得分，所述跨模态定位得分算式为，其中，表示多层感知机；所述根据完整定位得分、候选片段的数量以及各候选片段的开始时间和结束时间，确定各候选片段的分段定位得分，包括：根据完整定位得分、候选片段的数量以及各候选片段的开始时间和结束时间，采用设定的片段定位分数算式计算各候选片段的片段定位分数，所述片段定位分数算式为，其中，，T表征候选片段的数量，和分别表征候选片段的开始时间和结束时间；对各候选片段的片段定位分数进行归一化处理，得到各候选片段的分段定位得分。

全文数据：

权利要求：

百度查询： 四川日报网络传媒发展有限公司 基于跨模态语义层次图的细粒度视频文本定位方法及系统