首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

使用强化学习进行低秩分解来压缩深度学习模型的系统和方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:华为技术有限公司

摘要:公开了使用强化学习reinforcementlearning,RL进行低秩分解lowrankdecomposition,LRD来压缩深度学习deeplearning,DL模型的方法和系统。RL代理在所述RL代理的一轮或多轮训练中被训练。在每一轮训练中,压缩值通过使用所述RL代理分配给所述DL模型的每个候选层,以生成定义压缩值的动作。所述DL模型的状态被更新,并且所述RL代理是使用所述更新的状态进行训练。候选压缩模型是通过根据所述分配的压缩值使用LRD分解每个候选层生成的。所述候选压缩模型被评估,以收集训练所述RL代理的奖励。在满足终止条件之后,输出最终压缩模型。

主权项:1.一种用于压缩深度学习deeplearning,DL模型的方法,其特征在于,所述方法包括:获得所述DL模型的模型定义,所述模型定义将所述DL模型定义为具有可分解的一个或多个候选层;对于每一轮训练,通过以下操作对强化学习reinforcementlearning,RL代理执行一轮或多轮训练:通过以下操作为每个给定候选层分配压缩值:使用所述RL代理生成定义所述给定候选层的压缩值的动作;将所述压缩值分配给所述给定候选层,基于所述分配的压缩值确定要分配给所述给定候选层的至少一个分解秩,更新所述DL模型的状态,所述DL模型的更新状态包括所述压缩值或分配给所述给定候选层的所述至少一个分解秩;使用所述DL模型的所述更新状态训练所述RL代理;通过基于分配给相应候选层的相应至少一个分解秩,使用低秩分解lowrankdecomposition,LRD将每个相应候选层分解为对应分解层,生成候选压缩模型;对所述候选压缩模型进行评估,以收集训练所述RL代理的奖励;在满足终止条件并终止所述RL代理的训练之后,输出最终压缩模型。

全文数据:

权利要求:

百度查询: 华为技术有限公司 使用强化学习进行低秩分解来压缩深度学习模型的系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。