龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：蚂蚁科技集团股份有限公司
摘要：本说明书提供了一种模型推理加速方法。该方法应用于第一设备，用于执行神经网络模型任意目标层的推理运算。在进行推理时，针对目标层的Q×N维参数矩阵的每一列：在第i列中第j行元素为0时，将中间矩阵第j行设置为0。在该列中第j行元素不为0时，将其复制P份，加载至第一向量寄存器。第二向量寄存器中存储有N×P维激活值矩阵中第i行元素。通过SIMD指令，对第一向量寄存器和第二向量寄存器进行对位相乘操作，得到的结果为中间矩阵的第j行。对得到的N个中间矩阵进行求和，从而得到本层的运算结果。上述方法中，只要参数矩阵中一个元素为0，就能减少一次同态乘法运算，可以较大程度上将剪枝比例转换为模型的加速。
主权项：1.一种模型推理加速方法，应用于第一设备，用于执行神经网络模型中任意目标层的推理运算，所述方法包括：针对所述目标层对应的Q×N维参数矩阵的各个列，依次执行第一操作，得到N个中间矩阵；其中针对第i列的第一操作包括：若该列中第j行元素为零，则将中间矩阵第j行设为全0；若该第j行元素不为零，将其复制P份成为向量，加载至第一向量寄存器；使用单指令多数据SIMD指令，对第一向量寄存器和第二向量寄存器中的数据进行对位相乘，结果向量作为中间矩阵第j行的向量；其中第二向量寄存器中存储所述目标层对应的N×P维激活值矩阵中第i行元素；对所述N个中间矩阵进行求和，以得到本层运算结果。
全文数据：
权利要求：
百度查询： 蚂蚁科技集团股份有限公司 一种模型推理加速方法、装置、设备、介质和程序产品
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号