申请/专利权人：南京工业大学

申请日：2024-03-31

公开（公告）日：2024-07-05

公开（公告）号：CN118297181A

主分类号：G06N20/00

分类号：G06N20/00;G06N5/02

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.07.23#实质审查的生效;2024.07.05#公开

摘要：一种基于课程学习的时序知识图谱嵌入模型的知识蒸馏方法，步骤包括1训练三个不同的高维TKGE教师模型。2学生模型的输出与真实标签交叉熵，得到硬标签损失。3将训练好的教师模型指导学生模型，优化软标签损失。4通过自适应注意力机制训练一个senior模型。5使用可学习的课程温度来动态优化和引导知识蒸馏过程，得到最终的junior模型。本发明从高维模型中蒸馏出低维模型，该框架适用于大多数现有的TKGE模型。本发明利用课程学习，并引入了自适应注意力机制，提出了一个两阶段过程，引导学生从容易到困难地学习教师教授的知识。

主权项：1.一种基于课程学习的时序知识图谱嵌入模型的知识蒸馏方法，其特征是采用多个教师模型和两个学生模型；各个教师模型是原始的时序知识图谱嵌入TKGE模型，它们是不同参数的TKGE模型，且都经过充分预训练；学生模型分别为senior模型和junior模型；教师模型是高维模型，junior模型是低维的目标模型，senior模型的大小介于教师模型和junior模型之间；首先，senior模型从教师模型获取知识；然后，junior模型从senior模型获得转移的知识，逐渐学习senior模型带来的知识，即得所需目标模型；知识蒸馏方法的步骤包括：1第一阶段蒸馏，多个教师模型通过自适应注意机制协作训练senior模型；此阶段，相对于教师模型，senior模型为学生模型；2第二阶段蒸馏，senior模型通过动态调整温度τ，用来促进junior模型的训练；此阶段，相对于junior模型，senior模型为教师模型；所述步骤1中：1.1学生模型的输出与真实标签交叉熵，得到硬标签损失：学生模型的硬标签损失是TKGE模型的原始损失，其是交叉熵损失；1.2用充分训练的教师模型指导学生模型，优化软标签损失：通过将Softmax函数应用于教师模型，得到其输出的概率分布；学生模型输出的概率分布与教师模型输出的概率分布进行交叉熵计算，来量化它们之间的相似性；软标签损失的计算涉及所有样本，并对它们进行平均，得到最终的软标签损失；1.3通过自适应注意力机制训练senior模型：采用自适应注意力机制，通过评估教师模型的预测与实际标签之间的交叉熵来度量教师模型的贡献；通过自适应注意力机制调整权重，根据置信水平的不同，使对训练学生模型产生更强烈影响的高置信度的教师模型具有更大的权重；所述步骤2中：使用可学习的课程温度来动态优化和引导知识蒸馏过程，得到最终的junior模型；把步骤1训练好的senior模型作为老师模型，junior模型作为学生模型；通过最大化学生模型和动态温度模之间的对抗损失来优化junior模型；并且在训练过程中动态的调整课程的难度，确保junior模型由易到难的学习senior模型的知识。

全文数据：

权利要求：

百度查询： 南京工业大学 基于课程学习的时序知识图谱嵌入模型的知识蒸馏方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD