买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于自进化扰动机制的长视频文本描述方法，通过在transformer编码器中引入自进化扰动机制，有效捕捉了长视频中的关键信息，采用端到端的一阶段框架，通过自进化扰动机制直接从原始视频中提取关键信息，无需事先进行事件提取，因此大大提高了处理效率，满足了实时处理的需求，通过在transformer解码器中引入层间自进化扰动，增强了模型对长视频中长程和短程依赖的建模能力。本发明通过自进化扰动机制有效解决了一阶段视频描述框架面临的关键问题，在提高生成文本质量的同时，兼顾了计算效率和实时性需求。这些优势使得本发明在智能视频理解、视频摘要、视频检索等多个领域具有广阔的应用前景。

主权项：1.一种基于自进化扰动机制的长视频文本描述方法，其特征在于包括下述步骤：步骤1：一个长视频首先被分成若干个不重叠的视频片段，对于每一个视频片段，经过预训练的3DCNN卷积神经网络后，提取得到一个特征图，其中表示视频片段的数量，表示第一个视频片段提取得到的特征,表示第二个视频片段提取得到的特征,表示第L个视频片段提取得到的特征；步骤2：利用transformer编码器对提取的视频片段的特征图进行编码；将每个视频片段得到的特征图都作为一个token输入到transformer的编码器中，得到编码后的视频特征为： ；其中表示前馈神经网络，表示多头注意力机制；步骤3：在解码器部分引入了自进化扰动机制，包括层内扰动和层间扰动两个方面；在解码器的每一层自注意力计算时，通过可学习的扰动项自适应调整注意力权重分布，使其更关注对当前生成词语重要的视频片段；同时，利用解码器不同层次的特征感受野差异，通过自蒸馏损失函数促进不同层次特征的融合，以捕捉视频的长程和短程依赖；步骤4：加入扰动的目的是为了以自进化的方式识别出长视频中的关键帧，所以更重要的视频片段的移除对最终损失的影响应该越大，使用负的MLE损失对扰动生成器进行更新，扰动损失为： ；其中,表示视频段落描述的损失函数，表示扰动生成器的参数，为平衡正则项和扰动损失的超参数，正则项用来稳定训练过程；步骤5：在得到解码器第t个时间步的扰动项后，扰动项指导原始的注意力权重分布的调整，从而更好地捕捉到长视频中的关键帧；步骤6：在步骤4中进行了层内的扰动后，利用transformer解码器不同层学习到的信息差异，进行层间的自进化扰动；由于transformer的浅层倾向于捕捉短程依赖，而深层能够建模更长远的依赖关系，因此通过层间的信息交互和融合，增强模型对长视频中长程和短程关系的建模能力；步骤7：最终，将自蒸馏损失与原始的交叉熵损失相加，得到总的训练目标为： ；其中，为交叉熵损失，为自蒸馏损失，为平衡两个损失项的权重系数；通过联合优化两个损失函数，使模型在生成准确、连贯的文本描述的同时，能够自适应地挖掘长视频中的关键信息，提高生成文本与视频的相关性。

全文数据：

权利要求：

百度查询： 西北工业大学 基于自进化扰动机制的长视频文本描述方法