买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);山东大学;浙江大华技术股份有限公司;山东省计算中心(国家超级计算济南中心);哈尔滨工业大学(威海)

摘要：本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统，抽取视频片段的多个视频帧的信息，得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合，进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图；将第一常识图、第二常识图和第三常识图整合后采用图注意力网络，得到所有物体的表征，将所有物体的表征与向量表征集合拼接成为视频表征，以所述视频表征与提示词文本作为大语言模型的输入，得到视频片段的摘要文本描述；本发明通过融合常识知识、场景知识和时空知识，提升了视频摘要生成的准确性和全面性。

主权项：1.一种基于知识增强的视频片段摘要生成方法，其特征在于，包括以下过程：抽取视频片段的多个视频帧的信息，得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合；根据物体名称集合，在常识知识图谱中检索名称一致的知识三元组，得到以物体名称为节点，以物体间常识关系为边的第一常识图；针对视觉表征集合提取视觉关系三元组，得到以物体名称为节点，以物体间场景关系为边的第二常识图；针对视觉表征集合提取视觉关系三元组，得到以物体名称为节点，以物体间时空关系为边的第三常识图；将第一常识图、第二常识图和第三常识图整合后采用图注意力网络，得到所有物体的表征，将所有物体的表征与向量表征集合拼接成为视频表征，以所述视频表征与提示词文本作为大语言模型的输入，得到视频片段的摘要文本描述。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 山东大学 浙江大华技术股份有限公司 山东省计算中心(国家超级计算济南中心) 哈尔滨工业大学(威海) 基于知识增强的视频片段摘要生成方法及系统