买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学杭州创新研究院;北京航空航天大学

摘要：本申请提供了一种动态张量编译优化方法、装置、电子设备及介质，所述方法在目标模型部署在目标硬件平台之前，获取目标硬件平台的多种硬件资源参数；根据目标硬件平台的硬件资源参数筛选出符合预设微内核条件的多个候选微内核；通过目标微内核评估模型预测目标模型中动态张量使用每一候选微内核时所述目标模型的性能，得到每一候选微内核的性能分值；筛选出性能分值最高的候选微内核作为目标模型的动态张量的目标微内核，以得到目标模型中使用所述目标微内核的动态张量；这样提高了动态张量的调优效果和效率。

主权项：1.一种动态张量编译优化方法，其特征在于，所述方法包括：在目标模型部署在目标硬件平台之前，获取目标硬件平台的多种硬件资源参数；其中，所述硬件资源参数包括线程块中的最大线程数、线程簇中的线程数、缓存容量；根据目标硬件平台的硬件资源参数，从预先构建的微内核库中，筛选出符合预设微内核条件的多个候选微内核；所述预设微内核条件是至少根据一种硬件资源参数设定的；将筛选出的多个候选微内核输入至预先训练好的目标微内核评估模型，通过所述目标微内核评估模型预测目标模型中动态张量使用每一候选微内核时所述目标模型的性能，得到每一候选微内核的性能分值；其中，所述目标微内核评估模型是基于目标硬件平台训练得到的；筛选出性能分值最高的候选微内核作为目标模型的动态张量的目标微内核，以得到目标模型中使用所述目标微内核的动态张量；通过所述目标微内核评估模型预测目标模型中动态张量使用每一候选微内核时所述目标模型的性能，得到每一候选微内核的性能分值，包括：通过所述目标微内核评估模型预测目标模型中动态张量使用该候选微内核时的吞吐量；预测动态张量使用该候选微内核时的资源利用率系数；基于动态张量使用该候选微内核对目标访问平台的多种内存访问时间和所需的完整执行时间，确定动态张量使用该候选微内核的内存访问效率系数；其中，不同大小的微内核的内存访问效率分数表征了不同大小的微内核在内存访问时间上的差异；基于动态张量使用该候选微内核时的吞吐量、资源利用率系数和内存访问效率系数，计算该候选微内核的性能分值；基于动态张量使用该候选微内核对目标访问平台的多种内存访问时间和所需的完整执行时间，确定动态张量使用该候选微内核的内存访问效率系数，是通过以下公式（2）确定的： （2）其中，t表示候选微内核中的线程数；LSR*t表示候选微内核对目标硬件平台寄存器的访问时间；LSS*t表示候选微内核对目标硬件平台共享内存的访问时间；LSG*t表示候选微内核对目标硬件平台的全局访问时间；ExecutionTimeMP表示使用微内核M的左旋动态张量P所需的完整执行时间；参数k2、b2为在目标微内核评估模型训练过程中拟合的实际的内存访问时间的变化率；表征使用微内核M的动态张量P在目标硬件平台上的内存访问效率。

全文数据：

权利要求：

百度查询： 北京航空航天大学杭州创新研究院 北京航空航天大学 一种动态张量编译优化方法、装置、电子设备及介质