买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海人工智能创新中心申请的专利一种针对线性注意力的序列并行方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118132155B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410293061.5，技术领域涉及：G06F9/38；该发明授权一种针对线性注意力的序列并行方法、装置、设备及介质是由孙伟高;钟怡然;秦臻;李冬;沈旭阳设计研发完成，并于2024-03-14向国家知识产权局提交的专利申请。

本一种针对线性注意力的序列并行方法、装置、设备及介质在说明书摘要公布了：本发明公开了一种针对线性注意力的序列并行方法、装置、设备及介质。该方法包括：第一处理设备按照数据分发策略将分布式环境中原始序列对应的多个子序列分发至对应的第二处理设备；第二处理设备采用预先配置的前向传播方式确定子序列对应的前向总输出矩阵，并采用预先配置的反向传播方式和前向总输出矩阵确定子序列对应的参数梯度，以根据参数梯度更新对应子序列的参数。本发明通过数据分发策略将一个较长的原始序列拆分成多个子序列，并分发至对应的第二处理设备上，以实现分布式处理的过程，并在多个第二处理设备之间采用前向传播和反向传播过程中交换中间状态，提高了序列的处理效率，从而使得在第二处理设备的集群上的实现对硬件更加友好。

本发明授权一种针对线性注意力的序列并行方法、装置、设备及介质在权利要求书中公布了：1.一种针对线性注意力的序列并行方法，其特征在于，包括： 通过第一处理设备按照预先配置的数据分发策略将分布式环境中线性变换器上原始序列对应的多个子序列分发至对应的第二处理设备； 通过所述第二处理设备采用预先配置的前向传播方式确定所述子序列对应的前向总输出矩阵； 通过所述第二处理设备采用预先配置的反向传播方式和所述前向总输出矩阵确定所述子序列对应的参数梯度，以根据所述参数梯度更新对应子序列的参数； 其中，所述采用预先配置的前向传播方式确定所述子序列对应的前向总输出矩阵，包括： 根据所述子序列以及对应的查询权重系数、关键字权重系数和数值权重系数确定所述子序列对应的总查询矩阵、总关键字矩阵和总数值矩阵； 根据所述总查询矩阵和所述总关键字矩阵的转置矩阵之间的乘积值，以及预先配置的掩码矩阵和所述总数值矩阵确定对应子序列的卡内输出矩阵； 根据所述总查询矩阵、预先配置的衰退率对角矩阵以及上一个子序列的前向中间状态确定对应子序列的卡间输出矩阵； 根据上一个子序列的前向中间状态和所述子序列对应的衰退率的乘积值，以及，预先配置的衰退率集合的逆矩阵、所述子序列对应的衰退率和所述总关键字矩阵之间乘积值的转置矩阵与所述总数值矩阵的乘积值更新所述子序列的前向中间状态； 根据所述卡内输出矩阵和所述卡间输出矩阵确定所述子序列对应的前向总输出矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海人工智能创新中心，其通讯地址为：200232 上海市徐汇区云锦路701号37、38层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。