买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：谷歌有限责任公司

摘要：方法、系统和装置，包括在计算机存储介质上编码的计算机程序，用于使用教师退火来训练机器学习模型。

主权项：1.一种用于执行单个机器学习任务或多个机器学习任务的方法，其中所述单个机器学习任务是自然语言处理任务、图像处理任务或健康预测任务，并且所述多个机器学习任务是能够在相同的输入文本序列上执行的多个不同的自然语言处理任务或能够在相同的输入图像上执行的多个不同的图像处理任务，所述方法包括训练具有多个学生参数的学生机器学习模型以执行至少第一机器学习任务，其中，所述学生机器学习模型被配置成接收模型输入并且根据所述学生参数来处理所述模型输入以生成包括用于所述第一机器学习任务的学生机器学习模型输出的模型输出，其中所述学生机器学习模型是被训练来执行包括所述第一机器学习任务的所述单个机器学习任务的单任务模型、或被训练来执行包括所述第一机器学习任务的所述多个机器学习任务的多任务模型，其中，当所述单个机器学习任务是健康预测任务时，所述学生机器学习模型的模型输入包括患者的电子健康记录数据，所述方法包括：初始化定义教师机器学习模型输出和真值输出之间的加权的权重值；在训练数据上训练所述学生机器学习模型，所述训练数据包括多个第一训练输入以及用于所述第一机器学习任务的每一个第一训练输入的相应的真值输出，所述训练针对每一个第一训练输入包括：使用经训练的第一教师机器学习模型来处理所述第一训练输入以生成用于所述第一机器学习任务的教师机器学习模型输出，其中所述经训练的第一教师机器学习模型已经被训练以执行所述第一机器学习任务；根据所述权重值确定用于所述第一机器学习任务的所述教师机器学习模型输出和用于所述第一训练输入的所述真值输出的加权组合；使用所述学生机器学习模型并根据所述学生参数来处理所述第一训练输入，以生成用于所述第一机器学习任务的学生机器学习模型输出；确定关于测量所述加权组合和所述学生机器学习模型输出之间的误差的目标函数的学生参数的梯度；以及根据所述梯度确定对所述学生参数的更新；在所述训练期间，重复更新所述权重值以逐渐支持所述加权中的所述真值输出；以及使用所训练的学生机器学习模型来执行所述单个机器学习任务或所述多个机器学习任务。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 使用教师退火来训练机器学习模型