龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：辉达公司
摘要：在使用降低的精度训练深度神经网络时，梯度计算在较大的值上操作而不影响训练过程的其余部分。一种训练深度神经网络的技术，产生损失值、缩放所述损失值、以降低的精度计算梯度，并减小计算梯度的大小以补偿所述损失值的缩放。在一个示例性非限制性布置中，训练正向传递将损失值缩放某个因子S，并且权重更新将权重梯度贡献减少1S。可以使用几种技术来选择缩放因子S并调整权重更新。
主权项：1.一种用于训练神经网络的系统，包括：至少一个数值计算电路，配置为基于损失值计算梯度；以及降低精度的选择器，所述降低精度的选择器耦合到所述至少一个数值计算电路，所述降低精度的选择器控制所述至少一个数值计算电路有选择地以降低精度的计算模式运行；其中，所述至少一个数值计算电路还配置为在基于使用所述降低精度的模式计算的梯度调整权重时缩放所述损失值。
全文数据：
权利要求：
百度查询： 辉达公司 用于以降低精度进行深度神经网络训练的损失缩放
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号