龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：厦门大学
摘要：基于动态双可训练界限的超分神经网络的量化方法，涉及人工神经网络的压缩与加速。1统计超分神经网络每一层激活值的最大值分布和最小值分布；2选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界的、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器；3对网络权重应用非对称的上界和下界的量化器；4使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；5训练结束保留量化网络权重，即得量化后的量化网络。
主权项：1.基于动态双可训练界限的超分神经网络的量化方法，应用于图像处理领域，其特征在于包括以下步骤：1统计超分神经网络每一层激活值的最大值分布和最小值分布；2选择最大值分布方差和最小值分布方差之和最大的P％层，对其激活值应用具有可训练上界和下界、具有动态门控制器的量化器，其他层的激活值应用有可训练上界和下界的量化器，具体方法为：使用步骤1得到的每一层最大值分布，统计该分布的方差，记为为第l层的最大值分布的方差，使用步骤1得到的每一层最小值分布，统计该分布的方差，记为为第l层的最小值分布的方差；加和第l层最大值分布方差和最小值分布方差，记为选择DIl值最大的P％的层应用具有可训练上界和下界的量化器和具有动态门控制器的量化器，其他层应用有可训练上界和下界的量化器；3对网络权重应用非对称的上界和下界的量化器；4使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数；所述使用量化器量化神经网络，初始化动态门控制器的权重，使用L1损失、结构转移损失训练量化网络，直至达到预定的训练轮数，其中：所述L1损失： 所述结构转移损失： 其中，F's,F'T分别是全精度网络和量化网络激活值结构特征，如下计算： 其中，F∈RC*H*w是高级特征模块的输出；总的损失函数：L＝L1+1000LSKT5训练结束保留量化网络权重，即得量化后的量化网络。
全文数据：
权利要求：
百度查询： 厦门大学 基于动态双可训练界限的超分神经网络的量化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号