买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京搜狗科技发展有限公司

摘要：本发明实施例提供了一种模型处理方法、装置和用于模型处理的装置。所述方法包括：获取业务数据；将所述业务数据分别输入至预训练模型和初始业务模型，通过自注意力机制对所述业务数据进行处理，得到所述预训练模型的全连接层输出以及所述初始业务模型的全连接层输出；将所述预训练模型的建模单元与所述初始业务模型的建模单元进行匹配，确定所述预训练模型的建模单元中的目标字符；根据所述初始业务模型的全连接层输出、所述目标字符对应的全连接层输出，对所述预训练模型和所述初始业务模型进行知识蒸馏，得到目标业务模型。本发明实施例可以避免知识蒸馏过程中信息的丢失，提升业务模型的模型性能。

主权项：1.一种模型处理方法，其特征在于，所述方法包括：获取业务数据；将所述业务数据分别输入至预训练模型和初始业务模型，通过自注意力机制对所述业务数据进行处理，得到所述预训练模型的全连接层输出以及所述初始业务模型的全连接层输出；其中，所述预训练模型的建模单元为单个字符，所述初始业务模型的建模单元为分词，一个所述预训练模型的建模单元对应一个全连接层输出，一个所述初始业务模型的建模单元对应一个全连接层输出；将所述预训练模型的建模单元与所述初始业务模型的建模单元进行匹配，确定所述预训练模型的建模单元中的目标字符；根据所述初始业务模型的全连接层输出、所述目标字符对应的全连接层输出，对所述预训练模型和所述初始业务模型进行知识蒸馏，得到目标业务模型；其中，所述初始业务模型和所述目标业务模型用于为文本添加标点符号；所述业务数据包括待处理的文本数据以及所述文本数据对应的标点符号标签；所述根据所述初始业务模型的全连接层输出、所述目标字符对应的全连接层输出，对所述预训练模型和所述初始业务模型进行知识蒸馏，得到目标业务模型，包括：根据所述初始业务模型的全连接层输出和所述目标字符对应的全连接层输出，计算所述预训练模型的第一损失值；根据所述初始业务模型的全连接层输出和所述文本数据对应的标点符号标签，计算所述初始业务模型的第二损失值；对所述第一损失值和所述第二损失值进行加权求和，得到所述预训练模型和所述初始业务模型的联合损失值；根据所述联合损失值对所述预训练模型和所述初始业务模型进行知识蒸馏，得到目标业务模型。

全文数据：

权利要求：

百度查询： 北京搜狗科技发展有限公司 一种模型处理方法、装置和用于模型处理的装置