龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：谷歌有限责任公司
摘要：用于训练具有多个学生参数的学生神经网络以执行机器学习任务的方法、系统和设备。在一个方面，一种系统包括一个或多个计算机，一个或多个计算机被配置为获得包括一个或多个训练输入的批次以生成多个修改后的训练输入。一个或多个计算机使用学生神经网络和教师神经网络来处理多个修改后的训练输入中的每一者，以针对修改后的训练输入中的每一者生成用于机器学习任务的相应的学生输出和相应的教师输出。一个或多个计算机通过计算损失函数的关于学生参数的梯度来更新学生参数，该损失函数包括第一项，该第一项对于修改后的训练输入中的每一者，衡量针对修改后的训练输入的学生输出与针对修改后的训练输入的教师输出之间的损失。
主权项：1.一种由一个或多个计算机执行并且用于训练具有多个学生参数的学生神经网络以执行机器学习任务的方法，所述方法包括：获得包括一个或多个训练输入的批次；生成多个修改后的训练输入，包括对于所述一个或多个训练输入中的每一者：使用编码器神经网络来处理所述训练输入以生成所述训练输入的潜在表示；以及使用所述潜在表示来生成一个或多个修改后的训练输入，其中生成所述修改后的训练输入中的每一者包括：从所述训练输入的所述潜在表示生成修改后的潜在表示；以及使用解码器神经网络来处理所述修改后的潜在表示以生成所述修改后的训练输入；使用所述学生神经网络来处理所述多个修改后的训练输入中的每一者以针对所述修改后的训练输入中的每一者生成用于所述机器学习任务的相应学生输出；使用教师神经网络来处理所述多个修改后的训练输入中的每一者以针对所述修改后的训练输入中的每一者生成用于所述机器学习任务的相应教师输出，其中所述教师神经网络已经过预训练以执行所述机器学习任务；计算损失函数的关于所述学生参数的梯度，所述损失函数包括第一项，所述第一项对于所述修改后的训练输入中的每一者，衡量i针对所述修改后的训练输入的所述学生输出与ii针对所述修改后的训练输入的所述教师输出之间的损失；以及使用所述梯度来更新所述学生参数。
全文数据：
权利要求：
百度查询： 谷歌有限责任公司 使用生成神经网络的计算有效率的提炼
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号