买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学;厦门松霖科技股份有限公司

摘要：本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置，涉及视频处理领域，方法包括：通过帧抽样策略去除视频冗余信息，采用卷积网络对沉浸式视频（即多视点纹理加深度视频）不同区域进行多尺度特征提取；接着使用注意力模型对特征进行加权，通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数；最终结合六自由度（DegreeofFreedom，DoF）时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果，稳定性和鲁棒性高。

主权项：1.一种基于帧级时间聚合策略的沉浸式视频质量评价方法，其特征在于，包括：S11，获取输入的多视点纹理加深度视频的单个纹理视频，进行分割获得多个视频块，对每个视频块采取首帧抽样的方式筛选视频帧，将视频帧拼接获得纹理视频关键块；S12，采用VGG16网络模型提取纹理视频关键块的多尺度特征，对提取的特征分别进行自适应平均池化和最大池化操作，对自适应平均池化获得的特征和最大池化操作获得的特征进行拼接，获得纹理视频帧特征；S13，采用VGG16网络模型提取单个深度视频帧的多尺度特征，对提取的特征进行感兴趣区域检测提取重点区域特征，同时进行自适应平均池化操作，对重点区域特征和自适应平均池化获得的特征进行拼接，获得深度视频帧特征；S14，采用注意力模块对纹理视频帧特征和深度视频帧特征进行特征加权，通过门控循环神经单元预测当前纹理及深度视频帧的初步质量分数；S15，基于帧级时间聚合策略自适应地筛选沿时间维度的质量分数，获得各个视点的纹理及深度视频帧的质量分数；S16，基于局部视频活动度自适应地结合单个视点的纹理及深度视频帧的质量分数，获得各个视点视频质量分数；S17，针对不同的视点自适应地计算六自由度6DoF时空轨迹权重，结合各个视点视频质量分数得到沉浸式视频质量评价分数；所述S15，具体包括：将前几帧质量分数的最小值定义为第t帧的记忆元素lt；ld，且质量差的帧分配更大的权重以获取当前帧质量元素mt；md，结合当前帧质量元素和记忆质量元素结合生成当前帧的质量分数，并通过时间池化获得单个视点的纹理及深度视频质量分数，如下： qt′；q′d＝γlt；ld+1-γmt；md； 其中，qt和qd分别表示当前纹理及深度视频帧的初步质量分数；Vprev表示第t帧前的一组帧的索引集；τ表示超参数；qk表示第k帧的加权质量分数；qj表示第j帧的加权质量分数；Vnext表示第t帧后的一组帧的索引集；和分别表示当前纹理及深度视频帧权重；mt和md分别代表当前纹理及深度视频帧质量元素；qt′表示当前纹理视频帧质量分数；qd′表示当前深度视频帧质量分数；T代表视频总帧数；Qt表示单个视点的纹理视频质量分数；Qd表示单个视点的深度视频质量分数；γ表示将记忆元素和当前质量元素的贡献度平衡到近似的超参数；所述S16，具体包括：将局部视频活动度ΓVT中非零像素点占全部像素点的比例P1定义为沉浸式视频中纹理视频区域的比例，获取纹理视频区域比例α自适应地结合单个视点的纹理以及深度视频质量分数，如下： Qi＝Qtα·Qd1-α；其中，η代表视觉因子；Qi表示各个视点视频质量分数；α表示纹理视频区域比例；所述S17，具体包括：对不同的视点Vi自适应地计算6DoF时空轨迹权重，基于时空轨迹权重ωi和各个视点视频质量分数Qi，获取失真六自由度6DoF的沉浸式视频质量评价分数QFinal，如下：xi,yi,zi,Pi,Yi,Ri＝fextVi； s.t.xMax,yMax,zMax,PMax,YMax,RMax＝Max{xi,yi,zi,Pi,Yi,Ri} 其中，i表示第i个视点；xi,yi,zi,Pi,Yi,Ri表示视点对应的平动自由度x,y,z和转动自由度Pitch,Yaw,Roll信息；xMax,yMax,zMax,PMax,YMax,RMax表示xi,yi,zi,Pi,Yi,Ri的最大值；fextVi表示6DoF时空轨迹提取模块。

全文数据：

权利要求：

百度查询： 华侨大学 厦门松霖科技股份有限公司 基于帧级时间聚合策略的沉浸式视频质量评价方法及装置