买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国人民解放军战略支援部队信息工程大学申请的专利基于多头自注意力机制适配器的持续关系抽取方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116186171B 。

龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211632267.3，技术领域涉及：G06F16/28；该发明授权基于多头自注意力机制适配器的持续关系抽取方法及系统是由周刚;朱秀宝;陈静;兰明敬;卢记仓;章梦礼;黄宁博;王世宇;陈昱昕;祝涛杰设计研发完成，并于2022-12-19向国家知识产权局提交的专利申请。

本基于多头自注意力机制适配器的持续关系抽取方法及系统在说明书摘要公布了：本发明属于信息抽取技术领域，特别涉及一种基于多头自注意力机制适配器的持续关系抽取方法及系统，利用预训练模型作为主干网络来构建持续关系抽取模型，且预训练模型包含多个对输入特征向量进行编解码操作的Transformer层，并利用适配器来学习任务知识；将持续关系抽取的每个任务作为多分类问题，且通过多个适配器的组合训练来学习目标文本中预设任务知识。本发明将预训练模型作为骨干网络保持所有参数冻结，每个任务使用多个A‑Adapter组成的模型进行独立训练来学习特定任务知识，通过每个任务模型的相互独立训练来有效避免实体关系抽取中模型训练的灾难性遗忘问题，便于实际场景应用。

本发明授权基于多头自注意力机制适配器的持续关系抽取方法及系统在权利要求书中公布了：1.一种基于多头自注意力机制适配器的持续关系抽取方法，其特征在于，包含如下内容： 利用预训练模型作为主干网络来构建持续关系抽取模型，且预训练模型包含多个用于对输入特征向量进行编解码操作的Transformer层，并利用适配器来学习任务知识，其中，适配器包含：用于对输入特征向量进行降维的降维投影层、用于挖掘特征向量上下文语义信息表示的多头自注意力层、用于将挖掘的上下文语义表示恢复至输入特征向量维度的升维投影层及用于模型训练优化残差连接的残差结构；预训练模型标示为：h＝[h1,h2,…,hN]，表示预训练模型第l个Transformer层的输出向量，和表示模型可训练参数，LayerNorm·表示归一化操作，h和d分别表示预训练模型的隐藏层向量维度和句子表示向量维度，N表示预训练模型中Transformer层的总数，h11、h21表示对应头尾实体位置的向量表示；持续关系抽取模型中第l个层Transformer层对应适配器的输入向量表示为：Il＝hl-1+Ol-1，Ol＝LayerNormIl+IlWdownWMultiHeadWup，表示预训练模型第l-1个Transformer层的输出向量，表示第l-1层对应适配器的输出向量，表示降维投影层的可训练参数，表示多头注意力层的可训练参数，表示升维投影层的可训练参数，Ol表示第l层对应适配器的输出向量，dm表示输入向量降维后的维度；持续关系抽取模型训练中采用交叉熵作为目标损失函数，该目标损失函数表示为：pk＝[p0,p1,...pR-1]表示第k个任务的分类结果，pi∈pk表示输入句子属于第i类的概率，R为预定义的关系数量，Olast表示最后一层对应适配器的输出向量，y＝[y0,y1,…,yR-1]是输入句子真实标签的onehot表示； 针对目标文本，首先冻结预训练模型参数，然后在输入的文本句子实体周围添加头尾实体的位置标记，并利用BERT模型提取文本句子的特征向量，将持续关系抽取的每个任务作为多分类问题，利用多个适配器的组合训练来学习目标文本中预设任务知识。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军战略支援部队信息工程大学，其通讯地址为：450000 河南省郑州市高新区科学大道62号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。