Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种支持多种硬件的深度学习模型编译方法及编译器 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明提供了一种支持多硬件的深度学习模型编译方法和编译器,包括:获取需要编译的深度学习模型的计算图与目标设备信息;将目标设备信息基于预设的硬件模型转换为硬件属性中间形式,基于深度学习模型的基本操作获取线性操作中间形式,基于深度学习模型的张量,获取张量形状中间形式;基于张量与张量形状中间形式,获取内存中间形式,并采用异构内存传输折叠方法优化内存拷贝行为;基于获取的线性操作中间形式获取循环中间形式,采用融合、堆叠、向量化的方法,优化循环中间形式中的循环,并转化为向量中间形式,基于预设的计算模型获取异构设备数据操作规则中间形式;基于前面获取的多个中间形式,获取可在目标设备进行推理的可执行代码。

主权项:1.一种支持多硬件的深度学习模型编译方法,用于将深度学习模型编译为编译可在目标设备上进行模型推理的可执行代码,其特征在于,所述方法包括:信息获取步骤:获取需要编译的深度学习模型的计算图与目标设备信息,其中,所述计算图至少包括该深度学习模型的基本操作与张量;逻辑生成步骤:将目标设备信息基于预设的硬件模型转换为硬件属性中间形式,基于深度学习模型的基本操作获取线性操作中间形式,基于深度学习模型的张量,获取张量形状中间形式;内存化步骤:基于获取的深度学习模型的张量与张量形状中间形式,获取内存中间形式,并采用第一预设方法优化内存中间形式中每个内存段对应的内存拷贝行为;循环处理步骤:基于获取的线性操作中间形式获取循环中间形式,采用第二预设方法,根据硬件属性中间形式,选取相应的策略优化循环中间形式中的循环,并将优化后的循环转化为向量中间形式,此外,基于预设的计算模型获取异构设备数据操作规则中间形式;硬件代码生成步骤:基于逻辑生成步骤中获取的硬件属性中间形式、内存化步骤中获取的内存中间形式、循环处理步骤中获取的循环中间形式获取可在目标设备进行推理的可执行代码,其中,硬件属性中间形式表示的硬件信息决定可执行代码适配的硬件设备。

全文数据:

权利要求:

百度查询: 中国科学院计算技术研究所 一种支持多种硬件的深度学习模型编译方法及编译器

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。