首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于重要性检测和窗口匹配的视频超分辨率方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:南京大学

摘要:基于重要性检测和窗口匹配的视频超分辨率方法,构建一个视频超分辨率重构网络,由基于局部特征重要性检测的特征提取模块提取视频帧特征并提升对重要区域的关注;采用基于两步窗口相似度匹配策略的特征对齐模块,根据较大窗口的特征进行跨帧窗口全局匹配实现空间对齐,再在匹配窗口内进行细粒度注意力操作对齐特征;再由特征聚合模块将对齐之后的特征与当前帧特征进行融合,辅助当前帧细节信息恢复;最后上采样模块将聚合的信息以高分辨率形式呈现,得到与高分辨率视频同等大小的视频帧。本发明能够在较小的参数量下,有效处理较大运动带来的对齐困难问题,同时提升对重要细节的表示能力,能灵活适用于不同的应用场景。

主权项:1.基于重要性检测和窗口匹配的视频超分辨率方法,其特征是构建一个端到端的视频超分辨网络架构,所述网络架构采用双向循环网络结构,包括基于局部特征重要性检测的特征提取模块、基于两步窗口相似度匹配策略的特征对齐模块、特征聚合模块和上采样模块;基于局部特征重要性检测的特征提取模块首先提取视频帧特征,再通过局部特征重要性检测模块学习视频帧中各区域的重要程度Fi,得到注重细节信息的局部重要性特征然后同时输入双向循环网络的正向传播分支和反向传播分支,两个分支都包含特征对齐模块和特征聚合模块,正向传播分支用于对齐和聚合前一帧特征,反向传播分支用于对齐和聚合后一帧特征;基于两步窗口匹配策略的特征对齐模块对齐相邻帧之间特征,首先将当前帧和相邻帧特征分别划分成无重叠和具有重叠的窗口,在窗口间进行跨帧窗口匹配,再在匹配窗口间进行像素级注意力操作得到窗口特征,与相邻帧进行特征对齐,得到与当前帧特征空间上对齐的相邻帧特征特征聚合模块通过神经网络聚合当前帧特征和对齐之后的相邻帧特征得到聚合后的深层特征,上采样模块将正向传播分支和反向传播分支聚合的特征通过pixel-shuffle操作得到与高分辨率视频同等大小的视频帧。

全文数据:

权利要求:

百度查询: 南京大学 基于重要性检测和窗口匹配的视频超分辨率方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。