买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明涉及一种多模型合并压缩方法,包括如下步骤:步骤S1:对每个模型分别进行独立训练;步骤S2:分离每个模型的底层与高层;步骤S3:通过映射层连接底层和高层;步骤S4:训练映射层;步骤S5:训练完毕后,对训练好的新模型进行评估,选择最优结果。本发明的优点在于降低产品中多个模型作为整体时其中的冗余结构,可以节省大量的底层耗时计算,从而可以提高产品的运行效率。
主权项:1.一种多模型合并压缩方法,包括如下步骤:步骤S1:对每个模型分别进行独立训练和压缩;对每个模型分别进行独立训练和压缩,训练和压缩的结果作为多模型合并压缩的输入;步骤S2:分离每个模型的底层与高层;每个模型均采用ResNet-18作为网络的骨干;在所述步骤S2中,分别将每个模型的底层L和高层H剥离出来,所述底层是前五层卷积层;步骤S3:通过映射层连接底层和高层;在所述步骤S3中,分别用额外的卷积层作为各模型的映射层M,并将底层L、映射层M和高层H分别对应组合;步骤S4:训练映射层;在所述步骤S4中,在每个模型原本任务上训练所述步骤S3所构造出的新网络,训练时,冻结底层L和高层H,只训练映射层M;在所述步骤S4中,训练映射层M时,对映射层的权重多次初始化进行训练,以便用于步骤S5的评估和最终挑选;步骤S5:训练完毕后,对训练好的新模型进行评估,选择最优结果;在所述步骤S5中,待所述S4步骤训练完毕后,分别将每个模型的底层作为公共底层新网络的底层,并且与对应原网络比较,选择最优结果,将最优结果对应的该模型底层作为融合模型的共同底层;步骤S6:将最优结果部署在最终产品上。
全文数据:
权利要求:
百度查询: 小米汽车科技有限公司 一种多模型合并压缩方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。