首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于对偶蒸馏技术的知识图谱嵌入模型方法及其系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:中信银行股份有限公司

摘要:本发明提供了一种基于对偶蒸馏技术的知识图谱嵌入模型方法及其系统,涉及计算机系统领域。本发明通过将低维图谱嵌入模型和高维图谱嵌入模型相结合,可以在训练过程中同时利用硬标签数据和软标签数据,从而提高了训练效率,高维图谱嵌入模型可以学习到更多的语义信息和上下文信息,并将其传递给低维图谱嵌入模型,从而增加了模型的表达能力,通过蒸馏过程,低维图谱嵌入模型不仅可以拟合硬标签数据,还可以模仿高维图谱嵌入模型的整体可信度和三元组的嵌入结构来进行训练,从而提高了模型的泛化能力。

主权项:1.一种基于对偶蒸馏技术的知识图谱嵌入模型方法,其特征在于,具体步骤包括:步骤一、初始化,准备硬标签数据和软标签数据,初始化低维图谱嵌入模型和高维图谱嵌入模型;步骤二、训练低维图谱嵌入模型,利用硬标签损失函数来训练低维图谱嵌入模型,使其拟合硬标签数据;步骤三、训练高维图谱嵌入模型,利用软标签损失函数来训练高维图谱嵌入模型,使其拟合软标签数据;步骤四、蒸馏过程,该步骤包括两个阶段:第一阶段:低维图谱嵌入模型通过硬标签损失函数进行训练,同时,高维图谱嵌入模型部分的参数保持冻结,不参与训练;第二阶段:高维图谱嵌入模型部分的参数不进行冻结,而是会随着低维图谱嵌入模型的情况而进行调整,在此阶段,低维图谱嵌入模型不仅要通过硬标签损失函数进行训练,还要通过模仿高维图谱嵌入模型的整体可信度和三元组的嵌入结构来进行训练;步骤五、评估与调整,根据一定的评估指标,对模型进行评估,并根据评估结果对模型进行调整和优化;步骤六、当达到预设的训练周期或满足其他停止条件时,训练结束。

全文数据:

权利要求:

百度查询: 中信银行股份有限公司 基于对偶蒸馏技术的知识图谱嵌入模型方法及其系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。