买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国传媒大学

摘要：本发明公开了一种基于深度学习的全参考超高清视频质量客观评价方法，被测超高清视频及对应的参考视频分别经过抽帧和图像块裁剪操作，得到被测视频图像块序列和对应的参考视频图像块序列。将被测视频图像块和对应的参考视频图像块成对输入到训练好的图像质量评价网络，得到被测视频图像块的质量分数。对图像块的质量分数进行空域池化和时域池化，得到被测视频的客观质量分数。本发明对超高清视频进行抽帧和图像块裁剪处理，有效减少了数据量，提升了算法效率；采用基于ResNet18的特征提取网络，提升了网络的训练效果，使网络能够有效提取图像特征；充分考虑人眼的视觉特点，对图像质量分数进行了空域池化和时域池化。

主权项：1.一种基于深度学习的全参考超高清视频质量客观评价方法，其特征在于：该方法包括以下步骤：步骤1，建立图像质量评价数据集；选取超高清视频质量评价数据库，对超高清视频质量评价数据库中的每个失真视频及其对应的参考视频即无失真的源视频进行抽帧和图像块裁剪；将每个失真视频的主观评价MOS值赋予由该失真视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值；每个失真视频图像块及其MOS值以及与之对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的全参考图像质量评价网络；步骤2，训练基于深度学习的图像质量评价网络；用图像质量评价数据集中的失真视频图像块及其MOS值以及与之对应的参考视频图像块作为训练数据，对基于深度学习的图像质量评价网络进行训练；步骤3，对被测超高清视频进行全参考视频质量评价；对被测视频及其参考视频进行抽帧和图像块裁剪，将裁剪得到的被测视频图像块及对应的参考视频图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的客观质量分数；最后将每个图像块的客观质量分数进行空域池化和时域池化，即得到被测视频的客观质量分数；建立图像质量评价数据集，步骤如下：步骤1.1，选取超高清视频质量评价数据库；数据库应包含无失真的超高清视频作为参考视频，以及由参考视频经压缩、加噪处理的失真视频；每个失真视频须有主观评价MOS值；参考视频不少于20段，每段时长不少于10秒，视频内容应尽可能包括室内、室外、建筑物、人物、自然景物、体育比赛、文艺表演、大型群众活动典型场景；步骤1.2，对每个参考视频及其对应的失真视频进行抽帧处理，抽帧率不低于1:50，得到参考视频及其对应失真视频的抽帧图像序列；步骤1.3，对抽帧图像序列中的每一帧图像进行图像块裁剪，每帧图像裁剪出5个图像块，分别位于帧图像的中心，以及与中心图像块相邻的左上、左下、右上、右下四个区域，每个图像块的大小为帧图像的116，即图像块在水平和垂直方向的像素数均为帧图像的14；步骤1.4，将每个失真视频的主观评价MOS值赋予由该失真视频经抽帧和图像块裁剪得到的图像块，即每个失真视频图像块的MOS值就是该图像块所属的失真视频的MOS值；每个失真视频图像块及其MOS值以及与之对应的参考视频图像块一起构成图像质量评价数据集，用于训练基于深度学习的图像质量评价网络；对被测超高清视频进行全参考视频质量评价，步骤如下：步骤3.1，按照步骤1.2对被测超高清视频及其参考视频进行抽帧，得到被测视频及其参考视频的抽帧图像序列；步骤3.2，按照步骤1.3对抽帧图像序列中的每一帧图像进行图像块裁剪，得到被测视频图像块序列和对应的参考视频图像块序列；步骤3.3，将被测视频图像块序列中的图像块和对应的参考视频图像块序列中的图像块成对输入到训练好的图像质量评价网络，得到每一个被测视频图像块的质量分数；步骤3.4，将属于同一帧图像的5个图像块的质量分数进行空域池化，即对5个图像块的质量分数进行加权平均，得到该帧图像的质量分数qi；具体计算方法如公式1所示； 其中i表示被测视频抽帧图像序列的帧序号，k表示一帧图像中的图像块序号，k＝0，1,2,3，4分别表示中心块、左上块、右上块、左下块、右下块；步骤3.5，对每帧图像的质量分数进行时域池化操作，包括前向最小池化和后向平均池化；其中前向最小池化是将当前帧的质量分数设置为当前帧之前L帧质量分数的最小值，后向平均池化是将当前帧的质量分数设置为当前帧及当前帧之后L帧的质量分数的平均值；L为池化长度，L的大小由视频的帧频fF和抽帧率fS确定，具体计算方法如公式2所示；前向最小池化值和后向平均池化值的计算方法如公式3和公式4所示，其中，N为被测视频抽帧图像序列的总帧数；L＝1～3fF·fS2 计算前向最小池化值和后向平均池化值的平均，即得到当前帧的最终质量分数q′i，如公式5所示； 步骤3.6，在步骤3.5的基础上，对各帧图像的质量分数进行时域全局平均池化，即计算被测视频抽帧图像序列中各帧图像质量分数的平均值，该平均值即为被测视频的客观质量分数，如公式6所示；

全文数据：

权利要求：

百度查询： 中国传媒大学 一种基于深度学习的全参考超高清视频质量客观评价方法