买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:苏州浪潮智能科技有限公司
摘要:本发明提供了一种神经网络卷积的权重layout优化的方法、装置、设备及可读介质,该方法包括:初始化累加器,由全局加载计算数据和权重数据到共享内存中后将计算数据加载到寄存器中;将权重数据中的输出通道的维度按照预设算法进行优化;使用优化后的权重进行矩阵乘计算;将在累加器中计算后的数据写入全局内存中。通过使用本发明的方案,能够使得数据在加载的时候做到全局内存的融合读写,又能避免累加器到全局内存时引入的共享内存数据读取过程,从而优化实际卷积计算时的流程,来达到神经网络卷积计算加速的效果。
主权项:1.一种神经网络卷积的权重layout优化的方法,其特征在于,包括以下步骤:初始化累加器,由全局加载计算数据和权重数据到共享内存中后将计算数据加载到寄存器中;将权重数据中的输出通道的维度按照预设算法进行优化,其中将权重数据中的输出通道的维度按照预设算法进行优化包括获取权重数据中的输出通道K的值,将所述输出通道K的值以32为单位划分为若干大组,每个大组按顺序进行排列,将每个大组中的值以8为单位按顺序划分成4个小组,并对每个小组进行标号,将每个小组中以2为单位按顺序划分成4个数组,并对每个数组进行标号,将每个小组中标号相同的数组按小组标号的顺序放在一起形成新的4个小组,将得到的全部新的小组按顺序排列得到优化后的输出通道K,所述输出通道K的值为32的整数倍;使用优化后的权重进行矩阵乘计算,其中使用优化后的权重通过Tensorcore进行卷积计算后每个线程中全局内存中数据的顺序是连续的,并且线程与线程的数据也是连续的;将在累加器中计算后的数据写入全局内存中。
全文数据:
权利要求:
百度查询: 苏州浪潮智能科技有限公司 神经网络卷积权重layout优化的方法、装置、设备及可读介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。