买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浪潮通用软件有限公司申请的专利线性复杂度自注意力机制实现的方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118821855B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411296820.X，技术领域涉及：G06N3/0455；该发明授权线性复杂度自注意力机制实现的方法、系统、设备及介质是由韩嘉懿;魏代森;宋刚;丁一凡;周祥国;郑伟波;郑伟航;吕柏成;王家琦设计研发完成，并于2024-09-18向国家知识产权局提交的专利申请。

本线性复杂度自注意力机制实现的方法、系统、设备及介质在说明书摘要公布了：本发明涉及人工智能的领域，本发明提出了线性复杂度自注意力机制实现的方法、系统、设备及介质，方法包括：将待处理的序列数据进行位置编码并特征映射施加到查询矩阵和键矩阵中；基于查询矩阵和键矩阵进行计算得到低秩查询矩阵、低秩键矩阵和低秩广义逆矩阵；将值矩阵进行增广得到增广矩阵，并基于增广矩阵和低秩键矩阵、低秩广义逆矩阵和低秩查询矩阵得到序列自注意力矩阵；将序列自注意力矩阵进行转置作为序列数据重复前述步骤，将再次得到的序列自注意力矩阵作为特征自注意力矩阵，基于序列自注意力矩阵和特征自注意力矩阵得到线性复杂度的自注意力矩阵。本发明在实现了线性自注意力的同时，较好地保持了模型性能，并且有更强的可拓展性。

本发明授权线性复杂度自注意力机制实现的方法、系统、设备及介质在权利要求书中公布了：1.线性复杂度自注意力机制实现的方法，其特征在于，包括：S1：将待处理的序列数据进行位置编码并特征映射施加到查询矩阵和键矩阵中，其中，所述待处理的序列数据包括自然语言和图像，根据所述序列数据的长度和所述查询矩阵和键矩阵的维度生成用于位置维度特征表示的位置编码，将所述位置编码添加到查询矩阵和键矩阵中对应的位置；S2：基于所述查询矩阵和键矩阵进行计算得到所述序列数据的低秩查询矩阵、低秩键矩阵和低秩广义逆矩阵，其中，将所述查询矩阵与键矩阵的转置的乘积作为低秩广义逆矩阵；S3：将值矩阵进行增广得到增广矩阵，并基于所述增广矩阵和所述低秩键矩阵、低秩广义逆矩阵和低秩查询矩阵进行低秩矩阵运算得到序列自注意力矩阵，用于去噪，其中，所述将值矩阵进行增广得到增广矩阵，并基于所述增广矩阵和所述低秩键矩阵、低秩广义逆矩阵和低秩查询矩阵得到序列自注意力矩阵的步骤包括：将1作为常数项向量，和所述值矩阵组合成为增广矩阵，将所述增广矩阵和所述低秩查询矩阵左乘，逐元素计算点积，得到第一矩阵，将所述第一矩阵和所述低秩广义逆矩阵左乘，逐元素计算点积，得到第二矩阵，将所述第二矩阵和所述低秩查询矩阵左乘，逐元素计算点积，得到自注意力矩阵，以及基于所述自注意力矩阵得到序列自注意力矩阵，所述基于所述自注意力矩阵得到序列自注意力矩阵的步骤包括：选择所述低秩查询矩阵和低秩键矩阵的交集矩阵最大值作为最大归一化项，选择所述低秩查询矩阵和低秩键矩阵的交集矩阵最小值作为最小归一化项，通过所述最大归一化项和所述最小归一化项将所述自注意力矩阵的所有元素缩放到[0,1]的范围中，得到归一化矩阵，将所述归一化矩阵作为序列自注意力矩阵；S4：将所述序列自注意力矩阵进行转置作为序列数据重复S1-S3，将再次得到的序列自注意力矩阵作为特征自注意力矩阵，基于所述序列自注意力矩阵和所述特征自注意力矩阵得到线性复杂度的自注意力矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浪潮通用软件有限公司，其通讯地址为：250101 山东省济南市历下区浪潮路1036号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。