恭喜山东海量信息技术研究院唐轶男获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜山东海量信息技术研究院申请的专利异构系统中针对模型的内存分配方法、设备、介质及产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119621356B 。
龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510163019.6,技术领域涉及:G06F9/50;该发明授权异构系统中针对模型的内存分配方法、设备、介质及产品是由唐轶男;郭振华;高开;李晓川;杜国光;刘璐;贾麒;张洪伟设计研发完成,并于2025-02-14向国家知识产权局提交的专利申请。
本异构系统中针对模型的内存分配方法、设备、介质及产品在说明书摘要公布了:本发明公开了计算机技术领域内的一种异构系统中针对模型的内存分配方法、设备、介质及产品。本发明创新性地将模型中各个网络层执行的所述目标任务的相应处理过程看作各个处理阶段,然后针对各个处理阶段进行内存分配;并在考虑目标算力设备针对特定任务执行过程的本地访存总时延、以及特定任务执行过程的访存数据量和目标算力设备的本地内存空间的前提下,针对任务的各个处理阶段实现了合理的内存分配,保证内存分配尽量不影响当前所执行任务的效率和性能,加速了任务处理效率。
本发明授权异构系统中针对模型的内存分配方法、设备、介质及产品在权利要求书中公布了:1.一种异构系统中针对模型的内存分配方法,其特征在于,包括:获取目标模型的目标任务;所述目标任务包括:模型单次迭代任务或模型单次推理任务;利用异构系统中的目标算力设备运行所述目标任务,并将所述目标模型中各个网络层执行的所述目标任务的相应处理过程,按序确定为多个处理阶段;获取各个处理阶段分别对应的处理时长和访存数据量;将各个处理阶段分别作为目标对象,若所述目标对象的处理时长小于所述目标算力设备针对所述目标对象的本地访存总时延、且所述目标对象的访存数据量不大于所述目标算力设备的本地内存空间,则在所述目标算力设备中为所述目标对象分配所述访存数据量大小的内存空间;其中,计算所述目标对象的访存数据量与所述目标算力设备的本地访存带宽的比值;将该比值与所述目标算力设备的本地访存时延之和,作为所述本地访存总时延;若所述目标对象的处理时长不小于所述本地访存总时延,则在所述异构系统中的目标内存设备和所述目标算力设备中,为所述目标对象分配所述访存数据量大小的内存空间。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东海量信息技术研究院,其通讯地址为:250000 山东省济南市高新技术开发区国家信息通信国际创新园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。