买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学;杭州电子科技大学;厦门亿联网络技术股份有限公司

摘要：本发明公开一种基于多重特征网络的沉浸式视频质量评价方法及装置，涉及图像处理领域，包括：在沉浸式视频质量评价模型中，通过视频预处理网络对待评价的沉浸式视频包含的多个视点的纹理视频和深度视频进行视点筛选，得到筛选后视点的纹理视频和深度视频，通过时空特征提取网络对筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数；通过权重计算网络计算得到筛选后视点的时空轨迹权重，将筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入质量分数计算模块计算得到沉浸式视频的质量分数。本发明解决现有沉浸式视频质量评价算法效果较差的问题。

主权项：1.一种基于多重特征网络的沉浸式视频质量评价方法，其特征在于，包括以下步骤：获取待评价的沉浸式视频，所述沉浸式视频包含多个视点的纹理视频和深度视频；构建基于多重特征网络的沉浸式视频质量评价模型并训练，得到经训练的沉浸式视频质量评价模型，所述沉浸式视频质量评价模型包括视频预处理网络、时空特征提取网络、权重计算网络和质量分数计算模块，通过所述视频预处理网络对所述多个视点的纹理视频和深度视频进行视点筛选，得到筛选后视点的纹理视频和深度视频，通过所述时空特征提取网络对所述筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数，具体包括：将所述筛选后的n-c个视点的纹理视频和深度视频中的每个视点的纹理视频和深度视频分别进行分块，得到Na个连续的纹理视频块和Nb个连续的深度视频块其中，Na＝hr×τ，Nb＝hr×τ，h表示筛选后的第i个视点的纹理视频或深度视频的帧数，τ表示时间间隔，r表示筛选后的第i个视点的纹理视频或深度视频的帧率；利用m×N的滑动窗口在筛选后的第i个视点的纹理视频的所有纹理视频块中的W×H大小的视频帧上滑动遍历，计算所述滑动窗口的像素值分别在主对角线和次对角线以及垂直和水平方向上的方差，根据所述滑动窗口的像素值在主对角线和次对角线的方差之和以及所述滑动窗口的像素值在垂直和水平方向上的方差之和计算单个滑动窗口的活动度，将所有滑动窗口的活动度求和得到当前视频帧的总活动度，如下式所示： 其中，K表示滑动窗口的总数，FAct表示当前视频帧的总活动度，Acte表示单个滑动窗口的活动度，X1表示所述滑动窗口的像素值在主对角线和次对角线方向上的方差之和，X2表示所述滑动窗口的像素值在垂直和水平方向上的方差之和，α和β分别表示所述滑动窗口的像素值在主对角线和次对角线方向以及垂直和水平方向上的方差的比例系数，θ为常数；将筛选后的第i个视点的纹理视频的第p个纹理视频块中的各个视频帧的总活动度进行排序，根据排序结果确定筛选后的第i个视点的纹理视频的第p个纹理视频块的关键帧Fo，o＝1,2,…,O,O表示关键帧的总数，将所述筛选后的第i个视点的纹理视频的第p个纹理视频块的关键帧输入特征提取模块，输出第一特征Mtp∈RH'×W'×C，其中，H’、W’和C分别表示所述第一特征的高度、宽度和通道数；将所述筛选后的第i个视点的纹理视频的第p个纹理视频块的对应的第一特征Mtp输入卷积注意力模块进行特征加权，得到第二特征，使用时空池化策略和区域建议注意力网络对所述第二特征进行局部特征提取，得到第三特征，同时针对所述第一特征Mtp应用全局平均池化，得到第四特征，将所述第三特征和第四特征连接得到筛选后的第i个视点的纹理视频的第p个纹理视频块的质量感知特征，如下式所示：fc＝σMLPGAPMtp+MLPGMPMtp； fcAvg＝GAPMtp； 其中，σ表示sigmoid函数，MLP表示多层感知机，GAP表示全局平均池化，GMP表示全局最大池化，f7×7表示卷积核大小为7×7的卷积运算，fc表示第二特征，RPAN表示区域建议注意力网络，表示第三特征，fcAvg表示第四特征，表示连接运算符，ftp表示筛选后的第i个视点的纹理视频的第p个纹理视频块的质量感知特征；在筛选后的第i个视点的深度视频的第q个深度视频块内抽取视频帧Fd，将视频帧Fd输入所述特征提取模块，输出得到第五特征fk，分别对所述第五特征fk进行全局平均池化和标准差池化，得到第六特征和第七特征，将第六特征和第七特征连接，得到空间特征，如下式所示： 其中，GSP表示标准差池化，表示第五特征，表示第六特征，fsq表示筛选后的第i个视点的深度视频的第q个深度视频块对应的空间特征；将筛选后的第i个视点的深度视频的第q个深度视频块bq输入动作识别网络，得到筛选后的第i个视点的深度视频的第q个深度视频块对应的动作特征；fmq＝MOTIONbq；其中，MOTION表示动作识别网络，fmq表示动作特征；将所述筛选后的第i个视点的深度视频的空间特征和动作特征连接，得到筛选后的第i个视点的深度视频的第q个深度视频块的质量感知特征fdq，如下式所示： 将筛选后的第i个视点的纹理视频的第p个纹理视频块的质量感知特征和筛选后的第i个视点的深度视频的第q个深度视频块的质量感知特征输入多层感知机，得到筛选后的第i个视点的纹理视频的第p个纹理视频块的质量分数q'tp和筛选后的第i个视点的深度视频的第q个深度视频块的质量分数q'dq，i＝0,...,n-c，将筛选后的第i个视点的纹理视频的第p个纹理视频块的质量分数q'tp和筛选后的第i个视点的深度视频的第q个深度视频块的质量分数q'dq进行全局平均池化，聚合得到筛选后的第i个视点的纹理视频的质量分数和筛选后的第i个视点的深度视频的质量分数，如下式所示：q'tp；q'dq＝MLPftp；fdq； 其中，Qtn-c-i、Qdn-c-i分别表示筛选后的第i个视点的纹理及其深度视频质量分数；通过所述权重计算网络计算得到筛选后视点的时空轨迹权重，将所述筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入所述质量分数计算模块计算得到沉浸式视频的质量分数；将所述待评价的沉浸式视频输入所述经训练的沉浸式视频质量评价模型，得到所述待评价的沉浸式视频的质量分数。

全文数据：

权利要求：

百度查询： 华侨大学 杭州电子科技大学 厦门亿联网络技术股份有限公司 基于多重特征网络的沉浸式视频质量评价方法及装置