买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜厦门大学申请的专利一种基于超网络的持续学习关系抽取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119539067B 。

龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510102277.3，技术领域涉及：G06N5/025；该发明授权一种基于超网络的持续学习关系抽取方法是由陈毅东;张阳;史晓东设计研发完成，并于2025-01-22向国家知识产权局提交的专利申请。

本一种基于超网络的持续学习关系抽取方法在说明书摘要公布了：一种基于超网络的持续学习关系抽取方法，涉及自然语言处理和机器学习领域。模型含样本编码器、基于超网络的网络生成器和任务特定的投影头；样本编码器用于获取每个实例的嵌入表示；网络生成器为当前任务生成特定的投影头，投影头用于执行该特定任务的分类。为减少模型表示空间中类似关系之间的冲突，创建特定的投影头。对于新任务，初始化一系列特定任务的嵌入。这些嵌入输入网络生成器，创建一个用于当前任务关系分类的专用投影头。每个任务都有其特定的表示空间。有效减轻模型表示空间中类似关系的冲突。训练模型过程中采用新任务训练、样本选择和多任务重放，通过跨任务损失和对比学习等策略，有效缓解灾难性遗忘问题。

本发明授权一种基于超网络的持续学习关系抽取方法在权利要求书中公布了：1.一种基于超网络的持续学习关系抽取方法，其特征在于包括以下步骤：1模型初始化与输入处理：模型的前端部分，使用BERT作为样本编码器，对输入的样本进行编码，通过样本中头、尾实体起始位置的隐藏表示及可训练参数，计算样本的语义嵌入，样本编码器捕捉样本的语义信息表示为嵌入向量；2超网络生成特定投影头：对于每个新任务，初始化一系列特定任务的嵌入，并将其输入到由四个两层神经网络超网络组成的网络生成器HNG中；网络生成器HNG由多个特定的超网络组成，能够为每个任务生成一个特定的投影头；投影头用于将样本嵌入投影到任务特定的表示空间中，以执行该特定任务的分类；所述超网络生成特定投影头，具体步骤包括：在获取样本嵌入后，四个第k个任务特定的嵌入和被随机初始化且为可训练参数，并随后输入到网络生成器HNG，网络生成器HNG由四个特定的超网络组成： 其中，fhyper1,fhyper2,fhyper3和fhyper4是网络生成器HNG中的四个超网络，且均由两层神经网络组成；和是被随机初始化且为可训练的四个任务特定的嵌入，为超网络fhyper1输出，为fhyper3输出，为fhyper2，为fhyper4输出；将这四个超网络的输出作为第k个任务的投影头Pk的参数，为第k个任务Tk构建一个特定的投影头；随后，第k个任务的投影头Pk用于获取给定的样本x的关系表示：zx＝Pkhx6其中，hx为给定的样本x经过BERT之后的语义嵌入；Pk是第k个任务的投影头；zx是给定的样本x的关系表示，通过比较给定的样本x的关系表示zk与每个关系原型之间的距离来完成分类；3新任务训练：当一个新任务出现时，通过离散-负向数据增强生成负样本集，使用网络生成器HNG为新任务创建一个特定的投影头，将原始数据和增强后的数据集进行混合，形成一个新的混合数据增强后的训练集，利用混合数据增强后的数据集训练新任务的投影头，使用编码器对训练集样本进行编码，对编码后的关系表示进行连续-负向数据增强，并在增强后的特征表示上进行对比学习，计算对比损失，通过最大化同类样本之间的相似性和最小化异类样本之间的相似性优化模型；所述新任务训练，具体步骤为：当第k个任务Tk出现时，首先通过离散-负向数据增强扩充第k个任务原始数据集Dk得到第k个任务增强数据集Dk′，并使用网络生成器HNG与任务嵌入为任务创建生成第k个任务的投影头Pk；使用编码器对训练集样本进行编码，生成嵌入表示并存储在嵌入库EB中；从第k个任务增强数据集Dk′中选择一批样本，并计算其表示，同时从嵌入库EB中选择更多样本，映射到任务子空间；最后，对样本连续-负向数据增强，生成负样本并与正样本合并，计算对比损失Lc； 其中，-表示负号，zi表示当前训练集批次关系表示Z第i个元素，表示当前嵌入库批次关系表示中的第j个元素，表示依次遍历当前训练集批次关系表示Z和当前嵌入库批次关系表示并将结果累加；yi和yj分别是关系表示zi和关系表示的标签；Iyi＝yj是指示函数，当标签yi和yj相等时值为1，否则为0；log2表示以2为底的对数函数；exp表示以e为底的指数函数；“·”表示点积运算；表示遍历当前嵌入库批次关系表示那些标签不属于yi的关系表示，并将结果累加；为了保持嵌入库EB的更新，在每一步训练后用批次B中新生成的表示对其进行刷新；4典型样本选择：新任务训练后，用训练好的编码器和投影头对样本重新编码，使用K-means聚类方法对新任务的每类数据进行聚类，选择最接近每个聚类中心的样本作为典型样本，并存储在记忆库中；5多任务重放：对记忆库中存储的样本进行重放，复习记忆库中的所有样本，包括利用离散-正向数据增强生成新样本、用任务投影头编码增强样本、混合样本特征表示成新训练集并连续-正向数据增强，引入跨任务损失策略，计算多任务损失；通过对比学习确保新旧任务的知识相互支持，以减少对旧任务知识的遗忘；6模型推断：采用基于最近类均值的方法进行预测，计算每个关系类的原型，将测试样本投影到对应的关系空间中，并与预先计算的各关系类原型进行比较，通过计算测试样本与每个关系原型之间的相似度，将测试样本分配到与其最相似的关系类中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。