买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津理工大学;山东省人工智能研究院;北京阿叟阿巴科技有限公司

摘要：本发明涉及计算机视觉和模式识别技术领域，具体设计一种基于边界敏感的多尺度候选交互的视频句子检索方法，步骤如下：通过预训练模型提取特征；视频与文本时序信息的建模；模态间信息的初步交互；候选矩特征的生成；不同模态内的细粒度编码；第二次模态信息交互；候选矩特征之间的交互。本发明提出了一种融合边界特征和上下文特征的方法，这使得模型能够利用边界特征来理解复杂的视频和文本信息，采用一个多尺度候选矩形交互模块，使模型能够更好地捕获候选矩形之间的关系，这可以作为候选矩形的补充信息，帮助模型纠正以前忽略的错误。

主权项：1.一种基于边界敏感的多尺度候选交互的视频句子检索方法，其特征是，包括以下步骤：S1、通过I3D网络和C3D网络提取视频中的视频特征，通过Glove工具提取文本中每个单词的特征；S2、根据视频特征和单词特征建立时序信息模型，聚合视频特征和单词特征中的时序信息，得到全局时序信息；S3、将全局时序信息进行初次交互，得到交互后的视频特征和交互后的文本特征；S4、根据S3的视频特征生成候选矩阵特征，将候选矩特征生成用于表示的2D映射特征，然后将2D映射特征可视化，得到二维特征图；S5、将初次交互得到的交互后的视频特征和交互后的文本特征进行再次编码，得到视频的细粒度特征和文本的短语特征；S6、进行第二次信息交互，将初次交互得到的信息与候选矩阵特征结合得到更加细粒度的视频模态间信息和文本模态间信息，然后将两模态间信息进行融合得到互补的融合特征，再将得到互补的融合特征进行拼接得到最终融合特征；S7、采用多尺度候选矩阵交互的方式对最终融合特征进行处理，然后再经过运算得到各候选矩阵的预测分数，对候选矩阵的预测分数进行交叉熵损失计算来对结果进行优化，得出最准确的候选矩阵的预测分数，将其用于文本视频的检索得到最终结果。

全文数据：

权利要求：

百度查询： 天津理工大学 山东省人工智能研究院 北京阿叟阿巴科技有限公司 一种基于边界敏感的多尺度候选交互的视频句子检索方法