首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于模型剪枝与蒸馏的轻量显微镜图像插帧方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:复旦大学

摘要:本发明属于数字图像处理技术领域,具体为一种基于模型剪枝与蒸馏的轻量的显微镜图像插帧方法。本发明方法包括:使用插帧网络得到前后两帧显微镜图像的中间帧;通过在插帧网络的优化目标中加入参数正则项得到网络参数的稀疏解,达到模型剪枝的效果;利用剪枝前的完整网络作为教师网络对剪枝后的网络进行蒸馏操作,以弥补模型剪枝带来的插帧质量损失;模型推理时根据所需插帧数量动态调整插帧网络生成的光流数量,减轻多帧插帧推理时的时间消耗。实验结果表明,本方法能够插帧出质量良好的显微镜中间帧图像,在损失插帧质量较小的前提下,将插帧所需计算量减小至13,并且控制插入10帧图像的时间消耗在插入2帧图像的时间消耗的2.5倍以内。

主权项:1.一种基于模型剪枝与蒸馏的轻量显微镜图像插帧方法,其特征在于,使用插帧网络得到前后两帧显微镜图像的中间帧;通过修改插帧网络的优化目标,加入参数正则项,重新训练插帧网络得到网络参数的稀疏解,剪枝网络;根据所需插帧数量动态调整插帧网络中的光流数量,以解决推理时间随插帧数量增加的问题;利用剪枝前的完整网络作为教师网络对剪枝后的网络进行蒸馏操作,以提升插帧质量,弥补剪枝带来的质量损耗;具体步骤如下:1采用M2M插帧网络作为原始的插帧网络,对显微镜图像进行插帧;将M2M插帧模型记作f·,对显微镜前后帧图像:I0,I1进行插帧,得到t时刻的中间帧图像:It,其中t∈0,1;即:It=fI0,I1,t∈0,1,12模型剪枝:在步骤1中的网络优化目标中加入参数正则项,对网络进行训练,得到网络参数的稀疏解,达到模型剪枝的效果,得到剪枝网络;3模型蒸馏:利用步骤1中的插帧网络作为教师网络对步骤2得到的剪枝网络进行蒸馏操作,以提升插帧质量,弥补模型剪枝带来的插帧质量损耗;4动态调整光流分支数量:根据所需插帧数量动态调整步骤3训练得到的剪枝网络中生成的光流数量,以减小多帧插帧的时间消耗。

全文数据:

权利要求:

百度查询: 复旦大学 一种基于模型剪枝与蒸馏的轻量显微镜图像插帧方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。