买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜华南理工大学;中山市华南理工大学现代产业技术研究院申请的专利基于Transformer的视频时空超分辨率方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114757828B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210346886.X，技术领域涉及：G06T3/4053；该发明授权基于Transformer的视频时空超分辨率方法是由邢晓芬;曹俏钰;徐向民;郭锴凌设计研发完成，并于2022-04-02向国家知识产权局提交的专利申请。

本基于Transformer的视频时空超分辨率方法在说明书摘要公布了：本发明公开了基于Transformer的视频时空超分辨率方法。所述方法包括以下步骤：采集视频时空超分辨率的模型训练样本；构建高帧率低分辨率视频序列生成模型，基于Transformer注意力机制的时域特征融合的生成中间帧，生成高帧率低分辨率视频序列；构建高帧率高分辨率视频序列生成模型，基于Transformer注意力机制的时空域特征融合，重建高帧率高分辨率视频序列；构建基于Transformer的视频时空超分辨率模型并训练，根据训练好的基于Transformer的视频时空超分辨率模型对视频序列进行视频时空超分辨率重建。本发明结合了Transformer注意力机制获取了视频序列中的时空联系，实现了视频在时空上的超分辨率增强。

本发明授权基于Transformer的视频时空超分辨率方法在权利要求书中公布了：1.基于Transformer的视频时空超分辨率方法，其特征在于，包括以下步骤：S1、采集视频时空超分辨率的模型训练样本；S2、构建高帧率低分辨率视频序列生成模型，基于Transformer注意力机制的时域特征融合生成的中间帧，生成高帧率低分辨率视频序列，包括以下步骤：S2.1、对预处理得到的低帧率低分辨率视频序列，通过卷积和残差模块计算得到低帧率低分辨率初始特征序列，在低帧率低分辨率视频序列中相邻的两帧图像之间生成中间帧图像，对于要生成的中间帧图像即第t帧图像，前一帧图像的特征记为Ft-1，后一帧图像的特征记为Ft+1；S2.2、基于Transformer注意力机制，获取要生成的中间帧图像的相邻帧图像特征的联系信息，得到帧之间的特征联系信息；对于要生成的中间帧图像的相邻的两帧图像特征，相邻帧图像特征的联系信息包括中间帧图像的前一帧图像特征到中间帧图像的后一帧图像特征的正向联系信息Rt-1→t+1，以及中间帧图像的后一帧图像特征到中间帧图像的前一帧图像特征的反向联系信息Rt+1→t-1；获取中间帧图像的前一帧图像特征到中间帧图像的后一帧图像特征的正向联系信息Rt-1→t+1，以及中间帧图像的后一帧图像特征到中间帧图像的前一帧图像特征的反向联系信息Rt+1→t-1，具体如下：对前一帧图像的图像特征Ft-1进行卷积操作得到Transformer注意力机制的查询：queryq1；对后一帧图像的图像特征Ft+1进行分别进行两次卷积操作得到Transformer注意力机制键值对：keyk1和valuev1；将得到的查询queryq1、‘键值对’keyk1和valuev1分别进行分块展开操作；q1、k1、v1的大小都为fchannel×patchL×patchL，其中fchannel表示特征通道数；对于每个大小为patchL×patchL的特征通道，将其分为n块，每块分辨率为patch×patch，原本大小为patchL×patchL的每个通道特征可表示为n×patch×patch，由于总共有fchannel个特征通道，最终可转为n个维度为patch×patch×fchannel的特征；通过Transformer注意力机制计算相邻帧图像特征的联系信息，对于每层Transformer具体过程为：通过softmax计算得到查询queryq1跟keyk1之间的关系，以权重分布的形式对valuev1进行计算，再通过卷积计算得到前一帧图像特征在后一帧图像特征上的响应关联Respon，具体数学表达式如下： Respon＝ConvAttentionq1,k1,v1；其中，dk表示输入的特征维度即patch×patch×fchannel；通过M层Transformer计算后，将Transformer输出的结果进行一次卷积计算作为前一帧图像特征到后一帧图像特征的联系信息Rt-1→t+1，具体如下：Rt-1→t+1＝ConvRespon；用同样的方法得到后一帧图像特征到前一帧图像特征的联系信息Rt+1→t-1；S2.3、融合中间帧图像的前一帧图像特征Ft-1和正向联系信息Rt-1→t+1，得到由前往后的正向中间帧特征Ft-1→t；融合中间帧图像的后一帧图像特征Ft+1和反向联系信息Rt+1→t-1，得到由后往前的反向中间帧特征Ft+1→t；将正向中间帧特征Ft-1→t和反向中间帧特征Ft+1→t进行融合，具体为将正向中间帧特征Ft-1→t和反向中间帧特征Ft+1→t拼接再通过卷积计算，得到最终的中间帧特征Fmiddle，具体如下：Ft-1→t＝Ft-1+Rt-1→t+1；Ft+1→t＝Ft+1+Rt+1→t-1；Fmiddle＝ConvConcateFt-1→t,Ft+1→t；S2.4、对生成的最终的中间帧特征Fmiddle通过RDN模块进行特征学习，得到中间帧的特征信息Ft，再通过卷积计算将中间帧的特征信息转为图像信息，生成中间帧图像；中间帧图像和预处理得到的低帧率低分辨率视频序列按时间顺序拼接成高帧率低分辨率视频序列，即将中间帧图像插入对应的前一帧图像和后一帧图像之间；S3、构建高帧率高分辨率视频序列生成模型，基于Transformer注意力机制的时空域特征融合，重建高帧率高分辨率视频序列，包括以下步骤：S3.1、提取视频序列的初始特征序列：利用卷积对步骤S2.4中得到的中间帧图像t提取初始特征，和步骤S2.1生成的低帧率低分辨率初始特征序列按时序拼接，对拼接后的高帧率低分辨率的序列特征通过卷积操作，得到最终的高帧率低分辨率初始特征序列F；S3.2、使用基于Transformer注意力机制学习高帧率低分辨率初始特征序列F的总时空域联系特征Rall；S3.3、将学习到的总时空域联系特征Rall通过重建模块得到重建特征Fh，并通过卷积计算增加重建特征Fh通道数目，并通过PixelShuffle方式将重建特征Fh加深的通道数转为重建特征Fh的宽度，即放大重建特征Fh的分辨率，特征分辨率放大r倍，得到上采样后的高分辨率特征；S3.4、通过卷积操作将高分辨率特征转为图像信息，并将S2.4得到的高帧率低分辨率视频序列进行双线性插值放大；将两者相加得到最终的高帧率高分辨率视频序列；S4、构建基于Transformer的视频时空超分辨率模型并训练，根据训练好的基于Transformer的视频时空超分辨率模型对视频序列进行视频时空超分辨率重建，包括以下步骤：S4.1、构建基于Transformer的视频时空超分辨率模型，包括高帧率低分辨率视频序列生成模型和高帧率高分辨率视频序列生成模型；高帧率低分辨率视频序列生成模型接收低帧率低分辨率视频序列，输出高帧率低分辨率视频序列至高帧率高分辨率视频序列生成模型，高帧率高分辨率视频序列生成模型输出高帧率高分辨率视频序列，完成视频时空超分辨率重建；S4.2、采用CharbonnierLoss，构建基于Transformer的视频时空超分辨率重建模型的损失函数Lcharbonnier，具体如下： 其中，表示原始数据集中的高帧率高分辨率视频序列的第t帧，表示基于Transformer的视频时空超分辨率模型生成的高帧率高分辨率的视频序列的第t帧；ε为常数，用于使基于Transformer的视频时空超分辨率模型训练稳定；S4.3、根据原始数据集和训练数据集对基于Transformer的视频时空超分辨率模型进行训练，通过峰值信噪比和结构相似性指数对基于Transformer的视频时空超分辨率模型进行评价，得到训练好的基于Transformer的视频时空超分辨率模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学;中山市华南理工大学现代产业技术研究院，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。