买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中科南京软件技术研究院申请的专利一种多层次相对位置编码方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119272810B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411766567.X，技术领域涉及：G06N3/0455；该发明授权一种多层次相对位置编码方法及系统是由武斌;王少将;杨格儿设计研发完成，并于2024-12-04向国家知识产权局提交的专利申请。

本一种多层次相对位置编码方法及系统在说明书摘要公布了：本发明公开了一种xPos相对位置编码的参数取值估计方法、多层次相对位置编码方法及系统，涉及深度学习技术领域，解决了Transformer模型在处理长序列时鲁棒性较弱且准确性较低的技术问题，其技术方案要点在xPos相对位置编码中引入了指数衰减因子，使用指数衰减对查询和键向量的编码方式进行调节，抑制高频成分的振荡，增强了模型对长距离依赖的捕捉能力，进一步提升模型在未见长序列任务中的长度外推能力。同时将xPos相对位置编码用于文本序列的段内编码和段间编码，实现双层编码，通过将段内和段间编码相结合，捕捉了文本序列中的层次结构信息，能够更有效地处理训练期间未见过的长序列，提升模型的长度外推能力。

本发明授权一种多层次相对位置编码方法及系统在权利要求书中公布了：1.一种多层次相对位置编码方法，其特征在于，该方法通过xPos相对位置编码的参数取值估计方法得到的xPos相对位置编码实现，包括：将文本序列S划分为一系列不重叠的模块化段，即；其中，表示第n个段，N表示段的总数，表示串联操作，，和分别表示段的起始索引和结束索引；，表示第个词元，表示文本序列的总长度；通过xPos相对位置编码对每个段的段内位置进行编码；通过xPos相对位置编码对各个段进行段间编码，完成多层次相对位置编码；其中，xPos相对位置编码的参数取值估计方法包括：步骤S1：当xPos相对位置编码中两个词元之间的索引距离为n时，且两个词元间兼容性得分的注意力期望值序列为s[n]，对xPos相对位置编码的注意力分辨率Rs进行定义，表示为： ；其中，j表示距离为j的两个词元间兼容性得分的索引；表示表示距离为j的两个词元间兼容性得分的指数变换；注意力分辨率Rs用于评估注意力对位置的识别能力；步骤S2：对xPos相对位置编码的查询编码函数和键编码函数进行定义，分别表示为： ； ；其中，表示查询编码函数；表示键编码函数；q表示查询向量；k表示键向量；为实数衰减因子；频率参数；i表示虚数单位；d表示模型的维度；则查询编码函数和键编码函数满足： ；其中，表示位置为n+r的查询编码；表示位置为0的键编码；表示位置为r的查询编码；表示伪内积，n和r分别表示位置和相对偏移；步骤S3：根据实数衰减因子对相对位置的特性函数进行定义，表示为： ；其中，，表示第i'个维度的衰减因子；表示第i'个维度的频率参数；步骤S4：对进行定义，并结合注意力分辨率Rs、查询编码函数以及键编码函数对的取值进行估计，完成xPos相对位置编码的参数取值估计；表示为： ；其中，表示超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中科南京软件技术研究院，其通讯地址为：211135 江苏省南京市麒麟科创园创研路266号人工智能产业园4号楼11楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。