买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种可解释性的增强视频目标分割精度方法和装置，该方法基于可解释性梯度激活图对含卷积层簇的深度学习网络面向视频目标分割任务时，实现该深度学习网络分割精度的提升。包括1卷积簇深度学习网络训练原始视频数据集；2根据本发明所设计3D可解释性激活张量筛选视频帧弱特征像素；3根据3D可解释性激活张量计算出目标在单个视频中的运动范围制作新视频集；4卷积簇深度学习网络重新训练新视频集，增强目标在运动范围中的弱视频帧像素特征。5训练收敛后，进行实地应用。本发明具有高分割精度，计算量少特点。其中弱视频帧像素可提供面向视频目标分割任务的深度学习网络的改进方向，并得出该深度学习网络的可解释性的可提升空间。

主权项：1.一种可解释性的增强视频目标分割精度方法，训练网络特征其特征在于，包括如下步骤：1第一阶段：训练原始网络特征F：1.1将视频数据集{V}放入含卷积簇结构的深度学习网络训练；1.2所述卷积簇结构指含卷积层结构，所述深度学习网络包括不限于DeepLab系列，RCNN系列、U-Net系列；1.3对于{V}中某一例视频Vi，其原始网络特征F为该深度学习网络所有卷积层的结果{C1，C2，...，Cn}，维度为n个W*H*T张量，n表示该深度学习网络的卷积层层数；其中C1为3D型张量，其维度为W*H*T。2第二阶段：筛选弱特征视频帧像素：2.1利用可解释性深度学习神经网络，按帧计算视频Vi各卷积层的热力图{h}，其维度为n个W*H*T张量；2.2对于视频Vi，将其各卷积层热力图{h}按T维度进行权重标准化，得标准热力图集{H}，其维度为n个W*H*T张量；2.3对于标注热力图集{H}，设定超参数λ1。对于标准热力图集{H}中所有值小于λ1的像素位置，将Vi对应像素位置RGB像素值置为0，0，0；2.4对于训练视频数据集{V}所有视频Vi，执行步骤1至步骤2得新视频数据集3第三阶段：训练新视频数据集并增强弱热力图权重位置处的特征：3.1将新视频数据集放入第一阶段所采用的深度学习网络训练；3.2对于中某一例视频其新网络特征为该深度学习网络所有卷积层的结果维度为n个W*H*T张量；其中为3D型张量，其维度为W*H*T。3.3对于视频执行步骤2.1得到新标准热力图集其维度为n个W*H*T张量；3.4设定超参数λ2，λ3。对于新标准热力图集所有位置值若小于λ2，则新网络特征对应位置值乘超参数λ3，并逐层更新网络权重。3.5将新视频数据集执行步骤1至步骤3后得到最终的网络模型net，对于测试视频，放入训练好后的网络模型net，得到整个视频的分割结果。

全文数据：

权利要求：

百度查询： 浙江大学 一种可解释性的增强视频目标分割精度方法和装置