买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜杭州电子科技大学申请的专利一种基于面向对象的双流注意力网络的视频问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114428866B 。

龙图腾网通过国家知识产权局官网在2025-05-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210094738.3，技术领域涉及：G06F16/48；该发明授权一种基于面向对象的双流注意力网络的视频问答方法是由俞俊;张欣设计研发完成，并于2022-01-26向国家知识产权局提交的专利申请。

本一种基于面向对象的双流注意力网络的视频问答方法在说明书摘要公布了：本发明公开了一种基于面向对象的双流注意力网络的视频问答方法。使用双流机制来表示视频的视觉内容，其中一个流为前景对象的静态外观流，另一个流为前景对象的动态行为流。在每个流中，对象的特征既包括对象本身的特征，还包括对象的时空编码和对象所在场景的上下文信息特征。在后续的图卷积操作进行深层特征提取的时候可以探索到对象之间的相对时空关系与上下文感知关系。同时，使用双流机制解决了此前视频问答模型只考虑对象静态特征而缺乏对动态信息分析的问题。本发明提高了对模态内交互和模态间语义对齐的探索能力，在相关视频问答数据集上取得了较好的结果。

本发明授权一种基于面向对象的双流注意力网络的视频问答方法在权利要求书中公布了：1.一种基于面向对象的双流注意力网络的视频问答方法，其特征在于，步骤如下：步骤1、数据预处理：输入待问答的视频片段，首先使用卷积网络提取出视频帧的静态外观特征和动态行为特征，再利用目标检测算法提取出视频中的目标对象，同时使用卷积网络提取出对象的静态外观特征和动态行为特征；将提取出的视频帧的静态外观特征和动态行为特征作为目标对象的上下文表示特征；步骤2、视频特征编码：采用双流机制来对视频特征进行编码，其中双流分别为目标对象的静态外观流和动态行为流；在每个流中，分别将目标对象的特征，目标对象的时空编码以及目标对象的上下文表示特征进行结合得到的特征作为节点，构建特征图；在构建的特征图上进行图卷积操作以获取视频中目标对象的高阶特征；步骤3、问题特征编码：利用循环神经网络对问题进行编码获取每个单词的局部编码以及问题句子的全局编码；步骤4、视频与问题的跨模态融合：在每个流中，首先将目标对象的高阶特征输入自注意力网络中获取对象与对象之间的模态内交互关系，同时根据对象与对象之间的模态内交互关系对视频目标对象的高阶特征进行重构，同理将每个单词的局部特征传入自注意力网络获取词汇与词汇之间的模态内交互关系，同时根据词汇与词汇之间的模态内交互关系对问题特征进行重构；之后将重构的目标对象高阶特征和重构的问题特征输入问题指导的注意力网络中探索词汇与对象特征之间的跨模态语义联系，同时更新视频的高阶特征；将目标对象静态外观流的高阶特征和动态行为流的高阶特征进行融合得到视频的双流高阶特征；将视频的双流高阶特征与问题全局编码进行融合得到答案编码；步骤5、对步骤4得到的答案编码进行解码获得最终的答案：针对不同的问题类型采用不同的解码方式，对于开放式问题和多项选择类问题使用线性分类器进行解码，对于计数类问题采用线性回归器进行解码。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。