买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波大学

摘要：本发明公开了一种基于视觉感知与分区的动态点云编码率失真优化方法，其将人物动态点云的颜色信息映射为颜色视频、几何信息映射为几何视频；通过颜色视频中的每个像素的背景亮度掩蔽度和颜色纹理掩蔽度获取颜色失真的容忍度阈值，进而获得每个树形结构单元的基于感知的量化参数偏移；通过几何视频中的每个像素的几何复杂掩蔽度获取几何失真的容忍度阈值，进而获得每个树形结构单元的基于感知的量化参数偏移；结合占用图获得颜色视频和几何视频各自中的每个树形结构单元的基于占用图的量化参数偏移；针对属于感兴趣区域或全感知区域或部分感知区域或非感知区域的树形结构单元采用不同的量化参数；优点是其能有效提高编码效率，能确保主观质量。

主权项：1.一种基于视觉感知与分区的动态点云编码率失真优化方法，其特征在于包括以下步骤：步骤1：采用V-PCC标准的投影方式将人物动态点云的颜色信息映射为一个颜色视频，并将人物动态点云的几何信息映射为一个几何视频，在映射时同步生成一个占用图序列，该占用图序列用于区分颜色视频和几何视频中的占用像素与非占用像素；步骤2：通过计算颜色视频中的每个视频帧中的每个像素的背景亮度，进而计算颜色视频中的每个视频帧中的每个像素的背景亮度掩蔽度阈值，将颜色视频中的第k个视频帧中坐标位置为x,y的像素的背景亮度掩蔽度阈值记为LMkx,y，其中，1≤k≤K，K表示颜色视频中包含的视频帧的总个数或几何视频中包含的视频帧的总个数，K＞1，1≤x≤M，1≤y≤N，M表示颜色视频中包含的视频帧和几何视频中包含的视频帧的宽度，N表示颜色视频中包含的视频帧和几何视频中包含的视频帧的高度，α1和α2为权重参数，ε为常数参数，ε＝2，表示颜色视频中的第k个视频帧中坐标位置为x,y的像素的背景亮度；步骤3：通过四个方向的梯度滤波器，计算颜色视频中的每个视频帧中的每个像素的颜色纹理掩蔽度阈值，将颜色视频中的第k个视频帧中坐标位置为x,y的像素的颜色纹理掩蔽度阈值记为TMkx,y，其中，四个方向的梯度滤波器的大小为5×5，max表示取最大值函数，符号“||”为取绝对值符号，Sg表示采用的任一个方向的梯度滤波器中的所有正系数之和，1≤i≤5，1≤j≤5，当满足1≤x-3+i≤M且1≤y-3+j≤N时IC,kx-3+i,y-3+j表示颜色视频中的第k个视频帧中坐标位置为x-3+i,y-3+j的像素的亮度值，当不满足1≤x-3+i≤M且1≤y-3+j≤N时令IC,kx-3+i,y-3+j＝0，gmi,j表示采用的第m个方向的梯度滤波器中位置为i,j处的系数，第1个方向的梯度滤波器为0°方向的梯度滤波器，第2个方向的梯度滤波器为90°方向的梯度滤波器，第3个方向的梯度滤波器为45°方向的梯度滤波器，第4个方向的梯度滤波器为135°方向的梯度滤波器；步骤4：采用掩模的非线性可加性模型耦合颜色视频中的每个视频帧中的每个像素的背景亮度掩蔽度阈值和颜色纹理掩蔽度阈值，得到颜色视频中的每个视频帧中的每个像素的人眼对点云颜色失真的容忍度阈值，将颜色视频中的第k个视频帧中坐标位置为x,y的像素的人眼对点云颜色失真的容忍度阈值记为JNDC,kx,y；步骤5：通过四个方向的梯度滤波器，计算几何视频中的每个视频帧中的每个像素的几何复杂掩蔽度阈值，将几何视频中的第k个视频帧中坐标位置为x,y的像素的几何复杂掩蔽度阈值记为CMkx,y，其中，当满足1≤x-3+i≤M且1≤y-3+j≤N时IG,kx-3+i,y-3+j表示几何视频中的第k个视频帧中坐标位置为x-3+i,y-3+j的像素的深度值，当不满足1≤x-3+i≤M且1≤y-3+j≤N时令IG,kx-3+i,y-3+j＝0；步骤6：通过高斯低通滤波器，计算几何视频中的每个视频帧中的每个像素的人眼对点云几何失真的容忍度阈值，将几何视频中的第k个视频帧中坐标位置为x,y的像素的人眼对点云几何失真的容忍度阈值记为JNDG,kx,y，其中，高斯低通滤波器的大小为5×5，1≤i≤5，1≤j≤5，当满足1≤x-3+i≤M且1≤y-3+j≤N时CMkx-3+i,y-3+j表示几何视频中的第k个视频帧中坐标位置为x-3+i,y-3+j的像素的几何复杂掩蔽度阈值，当不满足1≤x-3+i≤M且1≤y-3+j≤N时令CMkx-3+i,y-3+j＝0，Wi,j表示采用的高斯低通滤波器中位置为i,j处的系数，Ex,y表示CMkx,y的梯度抑制值，Ex,y的值为η或1，η为幅值限定参数；步骤7：根据颜色视频中的每个视频帧中的每个像素的人眼对点云颜色失真的容忍度阈值，计算颜色视频中的每个视频帧的平均容忍度阈值及颜色视频中的每个视频帧中的每个树形结构单元的平均容忍度阈值，进而计算颜色视频中的每个视频帧中的每个树形结构单元的感知权值，再计算颜色视频中的每个视频帧中的每个树形结构单元的基于感知的量化参数偏移，将颜色视频中的第k个视频帧中的第t个树形结构单元的基于感知的量化参数偏移记为同样，根据几何视频中的每个视频帧中的每个像素的人眼对点云几何失真的容忍度阈值，计算几何视频中的每个视频帧的平均容忍度阈值及几何视频中的每个视频帧中的每个树形结构单元的平均容忍度阈值，进而计算几何视频中的每个视频帧中的每个树形结构单元的感知权值，再计算几何视频中的每个视频帧中的每个树形结构单元的基于感知的量化参数偏移，将几何视频中的第k个视频帧中的第t个树形结构单元的基于感知的量化参数偏移记为其中，树形结构单元的尺寸为MCTU×NCTU，MCTU＝NCTU＝64，步骤8：根据占用图序列区分颜色视频和几何视频各自中的每个视频帧中的每个树形结构单元中的占用像素和非占用像素，进而计算颜色视频中的每个视频帧中的每个树形结构单元中的占用像素的占有率及几何视频中的每个视频帧中的每个树形结构单元中的占用像素的占有率，再计算颜色视频中的每个视频帧中的每个树形结构单元的基于占用图的量化参数偏移及几何视频中的每个视频帧中的每个树形结构单元的基于占用图的量化参数偏移，将颜色视频中的第k个视频帧中的第t个树形结构单元的基于占用图的量化参数偏移记为将几何视频中的第k个视频帧中的第t个树形结构单元的基于占用图的量化参数偏移记为步骤9：确定颜色视频和几何视频各自中的每个视频帧中的每个树形结构单元属于感兴趣区域或全感知区域或部分感知区域或非感知区域，对于颜色视频和几何视频各自中的第k个视频帧中的第t个树形结构单元，若该树形结构单元中有一个像素属于Fk，则确定该树形结构单元属于感兴趣区域；若该树形结构单元中的所有像素均为占用像素且没有一个像素属于Fk，则确定该树形结构单元属于全感知区域；若该树形结构单元中的像素既有占用像素又有非占用像素且没有一个像素属于Fk，则确定该树形结构单元属于部分感知区域；若该树形结构单元中的所有像素均为非占用像素且没有一个像素属于Fk，则确定该树形结构单元属于非感知区域；其中，Fk表示使用人脸检测算法检测到颜色视频或几何视频中的第k个视频帧中的所有人脸后由这些人脸的所有像素构成的集合；步骤10：计算颜色视频中的每个视频帧中的每个树形结构单元的最终量化参数偏移，将颜色视频中的第k个视频帧中的第t个树形结构单元的最终量化参数偏移记为若该树形结构单元属于感兴趣区域，则令若该树形结构单元属于全感知区域，则令若该树形结构单元属于部分感知区域，则令若该树形结构单元属于非感知区域，则令同样，计算几何视频中的每个视频帧中的每个树形结构单元的最终量化参数偏移，将几何视频中的第k个视频帧中的第t个树形结构单元的最终量化参数偏移记为若该树形结构单元属于感兴趣区域，则令若该树形结构单元属于全感知区域，则令若该树形结构单元属于部分感知区域，则令若该树形结构单元属于非感知区域，则令其中，ΔQP1C,max＝3，ΔQP2C,max＝2，ΔQP1G,max＝3，ΔQP2G,max＝4；步骤11：计算颜色视频中的每个视频帧中的每个树形结构单元的量化参数，将颜色视频中的第k个视频帧中的第t个树形结构单元的量化参数记为同样，计算几何视频中的每个视频帧中的每个树形结构单元的量化参数，将几何视频中的第k个视频帧中的第t个树形结构单元的量化参数记为其中，表示颜色视频中的第k个视频帧中的第t个树形结构单元的原始量化参数，表示几何视频中的第k个视频帧中的第t个树形结构单元的原始量化参数。

全文数据：

权利要求：

百度查询： 宁波大学 基于视觉感知与分区的动态点云编码率失真优化方法