买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提出基于文本内容特征对齐的视频描述方法与系统，该方法包括：通过预训练的视觉编码器对视频进行提取并得到原始视频时空特征和原始视频动作特征；将视频帧和文本输入到预训练视觉语言模型，得到边界框集合和置信度分数集合，基于边界框集合和置信度分数集合构建文本视频相关性图；利用文本视频相关性图得到精炼后的时空特征和精炼后的动作特征；基于原始视频时空特征、精炼后的时空特征、原始视频动作特征以及精炼后的动作特征得到目标描述文本。本发明以文本为条件，结合视频帧来构建文本视频相关性图，并与视频时空特征和视频动作特征进行融合来优化视频表征，以达到视频文本对齐的效果。

主权项：1.一种基于文本内容特征对齐的视频描述方法，其特征在于，所述方法包括如下步骤：步骤1、通过预训练的视觉编码器对视频进行提取并得到原始视频时空特征和原始视频动作特征；步骤2、将视频帧和文本输入到大规模预训练视觉语言模型，得到边界框集合和置信度分数集合，基于边界框集合和置信度分数集合构建文本视频相关性图；步骤3、利用文本视频相关性图分别对原始视频时空特征和原始视频动作特征进行时间维度的池化操作，得到精炼后的时空特征和精炼后的动作特征；将原始视频时空特征、精炼后的时空特征、原始视频动作特征以及精炼后的动作特征进行融合，并将融合结果作为视频表征，对视频表征进行解码操作，得到目标描述文本；在所述步骤3中，利用文本视频相关性图分别对原始视频时空特征和原始视频动作特征进行时间维度的池化操作，得到精炼后的时空特征和精炼后的动作特征，具体步骤如下：对文本视频相关性图进行归一化操作，得到归一化后的文本视频相关性图，利用归一化后的文本视频相关性图对原始视频时空特征进行时间维度的池化操作，得到精炼后的时空特征，过程存在如下关系式： ；其中，表示精炼后的视频特征，表示归一化权重，表示第帧的第块区域的网格特征，表示第帧的第块区域的网格特征与给定文本的相似程度，表示第块区域的精炼后的视觉特征；对文本视频相关性图进行帧级别的平均池化操作，得到池化后的文本视频相关性图，利用池化后的文本视频相关性图对原始视频动作特征进行时间维度的池化操作，得到精炼后的动作特征，过程存在如下关系式： ；其中，表示精炼后的动作特征，表示第帧池化后的权重；将原始视频时空特征、精炼后的时空特征、原始视频动作特征以及精炼后的动作特征进行融合是采用拼接操作实现的，对应的关系式如下： ;其中，表示视频表征。

全文数据：

权利要求：

百度查询： 江西财经大学 基于文本内容特征对齐的视频描述方法与系统