买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:抖音视界有限公司;脸萌有限公司
摘要:提出了一种用于张量处理的方法。待应用注意力的第一张量被获取,第一张量表示具有可变序列长度的批次的输入;基于批次的输入的数量和注意力的头的数量,第一张量被划分为多个矩阵,其中多个矩阵中的矩阵具有与批次的输入的序列长度对应的维度和与注意力的头的大小对应的维度;注意力通过基于分组矩阵乘法被分别应用于多个矩阵来生成第二张量,其中分组矩阵乘法的结果矩阵包括多个分块,每个分块由具有共享存储器的一组线程被计算头头一组线程因此,避免了无用标记的计算。
主权项:1.一种用于张量处理的方法,包括:获取待应用注意力的第一张量,所述第一张量表示具有可变序列长度的批次的输入;基于所述批次的输入的数量和所述注意力的头的数量,将所述第一张量划分为多个矩阵,其中所述多个矩阵中的矩阵具有与所述批次的输入的所述序列长度对应的维度和与所述注意力的头的大小对应的维度;通过基于分组矩阵乘法将所述注意力分别应用于所述多个矩阵来生成第二张量,其中所述分组矩阵乘法的结果矩阵包括多个分块,每个分块由具有共享存储器的一组线程被计算。
全文数据:
权利要求:
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。