买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：同济大学

摘要：本发明涉及一种基于多概念知识挖掘的视频描述生成方法及存储介质，所述方法包括：获取待处理的输入视频，对所述输入视频进行视觉特征和语义标签提取，并对所述语义标签进行优化，获得先验语义标签，以所提取的视觉特征和所述先验语义标签作为基于Transformer结构的视频描述生成模型的输入，获得对应的描述结果，其中，所述视觉特征包括2D特征和3D特征；所述视频描述生成模型训练时，从训练样本中进行视频‑文本知识、视频‑视频知识和文本‑文本知识的挖掘，优化视频描述生成模型中多头自注意力层的参数和词嵌入层的参数。与现有技术相比，本发明具有主题相关度强、语义丰富度高、训练速度快等优点。

主权项：1.一种基于多概念知识挖掘的视频描述生成方法，其特征在于，包括：获取待处理的输入视频，对所述输入视频进行视觉特征和语义标签提取，并对所述语义标签进行优化，获得先验语义标签，以所提取的视觉特征和所述先验语义标签作为基于Transformer结构的视频描述生成模型的输入，获得对应的描述结果，其中，所述视觉特征包括2D特征和3D特征；所述视频描述生成模型训练时，从训练样本中进行视频-文本知识、视频-视频知识和文本-文本知识的挖掘，优化视频描述生成模型中多头自注意力层的参数和词嵌入层的参数；所述视觉特征和语义标签的提取以及所述视频-文本知识的挖掘基于外部的预训练模型实现，所述视频-视频知识和文本-文本知识的挖掘基于目标数据集语料库训练实现；所述视频-视频知识和文本-文本知识的挖掘具体为：将训练样本中的2D特征和3D特征分别通过一个独立的编码器，输出2D特征编码和3D特征编码并进行拼接，进行视频描述生成任务的预训练，训练完成后，提取每个编码器中多头注意力层的参数和词嵌入层的参数；基于词嵌入层的参数进行计算得到目标数据集语料库中各单词之间的局部语义相似度；使用训练样本中的2D特征和3D特征进行视频多标签分类任务的预训练，训练过程中的损失函数基于所述局部语义相似度构建；所述损失函数表示为： ， ， ，其中，表示每个单词在对应位置上出现的概率，，是一个控制负例贡献的超参数，和分别是控制正例和负例权重的超参数，代表第个视频在对视频所属的第个标签进行处理时字典中第个标签的目标值，表示局部语义相似度。

全文数据：

权利要求：

百度查询： 同济大学 一种基于多概念知识挖掘的视频描述生成方法及存储介质