买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明提供一种基于深度学习的360度视频帧间模式决策方法，包括：当CU的运动状态为静止状态的预测概率大于等于第一设定阈值时跳过MMVD模式、CIIP模式、Affine模式、GPM模式、AMVP模式和Intra模式的率失真检查；当CU的运动状态为静止状态的预测概率大于等于第二设定阈值小于第一设定阈值时跳过MMVD模式、CIIP模式、GPM模式、AMVP模式和Intra模式的率失真检查；反之在编码完Merge模式和Affine模式后进行提前终止预测终止剩余模式的率失真检查，反之进行最优模式预测；当最优模式列表中前几个模式的概率之和大于第四设定阈值时，则终止列表中后续模式的率失真检查。

主权项：1.一种基于深度学习的360度视频帧间模式决策方法，其特征在于，包括：S1：在编码编码树单元CTU之前，将视频帧中的CTU利用CNN卷积神经网络进行运动状态预测，得到编码单元CU的运动状态；所述CU的运动状态包括：静止、伪静止和运动状态；所述利用CNN卷积神经网络进行运动状态预测包括：确定编码树单元CTU所在的纬度区域，根据编码树单元CTU所在不同的纬度区域利用不同的CNN卷积神经网络对编码单元CU的运动状态进行预测；所述对编码单元CU的运动状态预测包括：CTU由32×32个4×4的CU组成，将编码树单元CTU输入CNN卷积神经网络，输出32×32个4×4的CU的运动状态预测结果；针对不同尺寸的CU，根据其包含的4×4CU的运动状态预测结果得到该CU的运动状态预测结果；不同的CNN卷积神经网络的卷积核类型和填充类型不同；所述确定编码树单元CTU所在的纬度区域包括：根据CTU中心点的像素坐标计算CTU的拉伸因子，根据CTU的拉伸因子将CTU划分为不同的纬度区域； 其中，表示视频图像帧的高，y表示CTU中心点的坐标，表示圆周率，表示拉伸因子，表示三角函数；表示CTU的纬度；S2：当CU的运动状态为静止状态的预测概率大于等于第一设定阈值时，CU为静止状态，则跳过带运动矢量差的合并模式MMVD模式、混合帧内帧间预测CIIP模式、仿射模式Affine模式、几何划分模式GPM模式、高级运动矢量预测AMVP模式和帧内模式Intra模式的率失真检查；S3：当CU的运动状态为静止状态的预测概率大于等于第二设定阈值小于第一设定阈值时，CU为伪静止状态，则跳过MMVD模式、CIIP模式、GPM模式、AMVP模式和Intra模式的率失真检查；S4：当CU的预测结果为运动状态时，在编码完合并模式Merge模式和Affine模式后利用第一轻量级神经网络LNN神经网络进行提前终止预测；若提前终止的概率大于第三设定阈值则终止剩余模式的率失真检查，反之则执行步骤S5；所述利用第一LNN神经网络进行提前终止预测包括：根据CU的尺寸将CU划分为五个类别，根据CU不同的类别设置提前终止阈值，当CU的提前终止概率大于设定的提前终止阈值时，则终止剩余模式的率失真检查，其中，第一LNN神经网络的输入为CU的纬度Latitude、宽Width、高Height、双亲节点模式PMode、当前CU的率失真代价RDcost、量化参数QP、是否使用Merge模式Merge_flag、是否使用Skip模式Skip_flag、失真dist和比特fracBits这10种特征；输出为提前终止的概率；所述根据CU的尺寸将CU划分为五个类别包括：第一类CU包括：尺寸为128×128、128×64和64×128的CU；第二类CU包括：尺寸为64×64、32×32、64×32、32×64、64×16和16×64的CU；第三类CU包括：64×8、8×64、32×16和16×32的CU；第四类CU包括：16×16、16×8、8×16、8×8、32×8和8×32的CU；第五类CU包括：64×4、32×4、16×4、8×4、4×64、4×32、4×16和4×8的CU；针对第一类CU设置提前终止阈值为0.75；针对第二类CU设置提前终止阈值为0.8；针对第三类CU设置提前终止阈值为0.7；针对第四类CU设置提前终止阈值为0.7；针对第五类CU设置提前终止阈值为0.8；S5：利用第二轻量级神经网络LNN神经网络进行最优模式预测，根据预测结果对所有模式进行排序，得到最优模式列表；当最优模式列表中前几个模式为最优模式的概率之和大于第四设定阈值时，则终止列表中后续模式的率失真检查；所述利用第二LNN神经网络进行最优模式预测包括：提取CU的Latitude，Width，Height，PMode，RDcost，QP，fracBits这8个特征作为用第二LNN神经网络的输入，第二LNN神经网络的输出为最优模式的预测结果；为了提高模型的准确率，针对第一LNN神经网络和第二LNN神经网络设计了优化损失函数，对网络进行训练，所述优化损失函数包括： 其中，表示优化损失函数，表示样本的标签label，正类为1，负类为0；表示样本预测为正类的概率，表示预测的当前CU的模式RDcost，表示当前CU最佳的模式RDcost，N表示样本的数量。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于深度学习的360度视频帧间模式决策方法