买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：该发明公开了一种基于高效视频记忆网络的视频域知识记忆与迁移方法，本发明涉及视频图像处理领域。本发明旨在源视频域模型的监督下将更多视频隐式地存储在大小与存储空间预算一致的高效视频记忆网络中，并通过蒸馏损失将源视频域知识迁移到目标视频域模型中。首先通过时空编码器对类别特征均值和帧索引进行编码，而后将编码后的时空特征送入重构解码器中得到重构帧图像，并在像素级别和特征级别上对高效视频记忆网络进行监督。最后，源视频域知识通过高效视频记忆网络进行存储，同时计算源视频域知识在源视频域模型和目标视频域模型的表达之间的蒸馏损失，将知识迁移到目标视频域上。

主权项：1.一种基于高效视频记忆网络的视频域知识记忆与迁移方法，该方法包括：步骤1：在源视频域数据集上进行常规的模型训练，得到源视频域模型S；步骤2：计算源视频域模型S对第i类待存储的源视频域数据的特征均值pi，而后，对于第i类待存储的源视频域的第j个数据的第q帧图像xi,j,q，计算帧索引t：t＝N×j+q其中，N为第i类待存储的源视频域的视频数量；采用特征均值pi表示帧的空间信息，帧索引t表示帧的时间信息，通过时空编码器Ei对二者进行编码，得到时空特征Oi,j,q，具体表示为：Oi,j,q＝Eipi,t＝FCΓt·pi,q其中，FC为全连接层，pi,q代表特征均值pi中第q维数据，Γt为位置编码：Γt＝sinb0πt,cosb0πt,…,sinbl-1πt,cosbl-1πt其中，b和l是位置编码的超参数；步骤3：在得到时空特征Oi,j,q后，从时空特征Oi,j,q中重构出帧图像，引入重构解码器Di，具体而言：首先通过全连接层对时空特征Oi,j,q进行线性映射，得到映射特征oi,j,q；然后由卷积层、像素重组层和激活层组成的上采样模块，通过堆叠4个上采样模块将映射特征oi,j,q转换为重构帧图像在输入源视频域每类视频的帧图像后，源视频域的知识被隐式地存储在每类的由时空编码器E和重构解码器D组成的高效视频记忆网络G中，只有通过对应的特征均值p和帧索引集T才能得到重构视频集 其中，G·,·表示高效视频记忆网络，E·,·表示时空编码器，D·表示重构解码器；步骤4：为减少像素级别的差异，采用像素一致性损失来最小化重构视频集与原始视频集x之间的差异： 其中，B为重构视频集的帧图像数量，α是权重平衡系数，‖·‖1为绝对值损失，SSIM·,·为结构相似性损失；步骤5：除了像素级别的监督，还利用训练好的源视频域模型S对时空特征O进行监督；将原始视频集x送入源视频域模型S中，得到原始视频集特征Sx，而后采用特征一致性损失最小化原始视频集特征Sx与时空特征O的差异： 其中，代表弗罗贝尼乌斯范数；高效视频记忆网络的总损失为： 在训练完高效视频记忆网络后，通过蒸馏损失将源视频域知识迁移到目标视频域模型F上： 其中，表示蒸馏损失，和分别表示重构视频集输入到目标视频域模型F和源视频域模型S后输出的特征。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于高效视频记忆网络的视频域知识记忆与迁移方法