买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:海信集团控股股份有限公司
摘要:本申请涉及自然语言处理技术领域,尤其涉及一种基于大模型的嵌入模型的训练方法、装置、设备及介质。将特定领域的样本文本输入到初始嵌入模型的编码器中进行编码,该编码器中包括多个编码子层,在编码器进行编码时,获取编码器中每个编码子层输出的第一特征向量,并根据每个编码子层对应的权重和第一特征向量,确定该样本文本的预测特征向量,由于该预测特征向量是融合不同编码子层的第一特征向量所确定的,因此该预测特征向量是融合了不用层次的语义特征的,提高了编码的准确率,并根据该预测特征向量和样本文本的标准特征向量确定第一损失值,根据该第一损失值训练初始嵌入模型得到的嵌入模型在编码时具备更高的准确率。
主权项:1.一种基于大模型的嵌入模型的训练方法,其特征在于,初始嵌入模型包括编码器,所述编码器包括多个编码子层,所述方法包括:获取预先针对特定领域保存的训练集,所述训练集中包括样本文本;将所述样本文本输入到所述编码器中进行编码,获取所述编码器中每个编码子层输出的第一特征向量;根据每个编码子层对应的权重和第一特征向量,确定所述样本文本的预测特征向量;根据所述预测特征向量和所述样本文本的标准特征向量确定第一损失值,并根据所述第一损失值训练所述初始嵌入模型,得到嵌入模型。
全文数据:
权利要求:
百度查询: 海信集团控股股份有限公司 基于大模型的嵌入模型的训练方法、装置、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。