恭喜中科南京人工智能创新研究院;中国科学院自动化研究所罗晓彤获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜中科南京人工智能创新研究院;中国科学院自动化研究所申请的专利用于深度神经网络的量化训练方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119476375B 。
龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510053059.5,技术领域涉及:G06N3/0495;该发明授权用于深度神经网络的量化训练方法和系统是由罗晓彤;王培松;胡庆浩;张一帆;程健设计研发完成,并于2025-01-14向国家知识产权局提交的专利申请。
本用于深度神经网络的量化训练方法和系统在说明书摘要公布了:本发明公开了一种用于深度神经网络的量化训练方法和系统,该方法包括:获取原始神经网络模型和验证数据集,通过层级敏感度评估和拓扑分析生成量化优先级;基于层敏感度矩阵,为各层配置差异化量化参数并建立量化约束;构建误差补偿机制,生成误差补偿策略;执行双尺度自适应量化训练,对前向和反向传播分别采用独立优化的量化策略;根据训练状态和资源约束动态调整量化参数;评估模型性能和资源效率。本发明通过多维度敏感度评估、动态量化策略和系统误差补偿,提升了量化训练的精度和效率,同时保证了部署资源约束的满足。
本发明授权用于深度神经网络的量化训练方法和系统在权利要求书中公布了:1.用于深度神经网络的量化训练方法,其特征在于,包括如下步骤:S1、获取原始神经网络模型和验证数据集,通过计算层级敏感度指标数据、拓扑重要度数据和综合敏感度分数,生成层敏感度矩阵;S2、基于层敏感度矩阵和预存储的量化参数范围数据,为网络各层分配量化参数并构建量化约束,生成初始量化配置表;S3、获取原始网络参数,基于原始网络参数和初始量化配置表,构建误差补偿机制,生成误差补偿矩阵和补偿策略表;S4、基于初始量化配置表、误差补偿矩阵和补偿策略表,执行双尺度自适应量化训练,生成训练状态指标;S5、基于训练状态指标和预存储的资源约束条件,动态调整量化参数配置,生成优化后的模型参数;S6、基于优化后的模型参数和预存储的测试数据集,评估模型性能和资源效率,生成模型性能指标和资源消耗报告;步骤S1进一步为:S11、获取原始神经网络模型和验证数据集,通过逐层改变量化位宽,计算模型损失变化率,获得量化损失变化率数据;基于原始神经网络模型,获取每层网络的梯度数值,计算梯度幅度数据;基于原始神经网络模型,获取每层网络的激活值上下界,计算激活范围数据;将量化损失变化率数据、梯度幅度数据和激活范围数据按照预设权重系数进行加权求和,得到层级敏感度指标数据;S12、获取原始神经网络模型的网络结构信息,构建表征层间连接关系的网络连接图;基于网络连接图,获取每一层的输出数据,计算该层输出对下游层的影响程度,生成层间影响度数据;结合网络连接图和层间影响度数据,计算每层在整个网络中的重要程度,得到拓扑重要度数据;S13、基于层级敏感度指标数据和拓扑重要度数据,根据预设权重进行加权组合,得到综合敏感度分数;基于综合敏感度分数对网络各层进行排序,生成量化优先级列表;基于量化优先级列表,将层级敏感度指标数据、拓扑重要度数据和综合敏感度分数组合,生成层敏感度矩阵;步骤S5进一步为:S51、基于训练状态指标,提取准确率、损失值、梯度范数和量化误差,生成性能监控数据;将性能监控数据与预存储的性能基准数据进行对比,得到性能差异数据;根据性能差异数据,计算性能提升空间,生成性能裕度数据;S52、获取预存储的资源约束条件,提取计算、存储和带宽限制数据,生成资源限制数据;获取当前系统的资源使用情况,计算各类资源的使用率,得到资源占用数据;根据资源限制数据和资源占用数据,计算可用资源空间,生成资源裕度数据;S53、基于性能裕度数据和资源裕度数据,计算各层可调整的位宽范围,得到位宽调整数据;基于位宽调整数据,更新量化模型参数的量化配置,生成更新后的量化配置;根据更新后的量化配置对模型参数进行重新量化,生成优化后的模型参数;步骤S52进一步为:S521、获取预先存储的资源约束条件,提取计算资源的阈值参数,生成计算阈值数据;获取当前系统的计算资源使用情况,记录处理器利用率,生成处理器占用数据;获取指令执行统计信息,分析计算密度分布,生成计算密度数据;结合处理器占用数据和计算密度数据,生成计算资源状态数据;S522、获取预先存储的资源约束条件,提取内存容量和带宽限制,生成内存限制数据;获取当前系统的内存使用情况,记录内存占用量,生成内存占用数据;获取内存访问模式信息,分析访问频率分布,生成访问模式数据;结合内存占用数据和访问模式数据,生成存储资源状态数据;S523、获取预先存储的资源约束条件,提取数据传输带宽限制,生成带宽限制数据;获取当前系统的数据传输情况,记录带宽使用量,生成带宽使用数据;获取数据流量分布信息,分析传输模式,生成传输模式数据;结合带宽使用数据和传输模式数据,生成带宽资源状态数据;S524、获取计算资源状态数据、存储资源状态数据和带宽资源状态数据,统计各类资源的使用率,生成资源占用数据;获取资源占用数据,计算与资源限制的差距,生成资源差距数据;获取资源差距数据,评估各类资源的可用空间,生成资源裕度数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中科南京人工智能创新研究院;中国科学院自动化研究所,其通讯地址为:211135 江苏省南京市江宁区创研路266号麒麟人工智能产业园3号楼3楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。