龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国人民解放军国防科技大学
摘要：本发明公开一种基于张量版本控制的内存优化方法及装置，该方法步骤包括：S01.抽取模型的计算图进行拓扑排序，得到算子的执行顺序；S02.对模型训练过程进行profile，先训练一个iteration，记录张量的访问模式以及统计每个算子的计算时间、内存开销，并根据每个算子的内存开销以及通信带宽计算出通信开销；S03.在深度学习模型的训练过程中，使用预先定义的张量类型对各张量的状态和版本进行管理；S04.当需要在GPU上分配内存时，根据GPU空闲内存的充足状态控制使用张量并对各字段进行更新，如果内存不足选择最近最少使用的张量换出到CPU内存。本发明能够在GPU内存优化过程中减少swap‑out次数，降低同步开销。
主权项：1.一种基于张量版本控制的内存优化方法，其特征在于，步骤包括：S01.抽取深度学习模型的计算图G＝{V,E}，其中V表示节点，E表示边，并对抽取的计算图G中节点进行拓扑排序，得到算子的执行顺序；S02.对深度学习模型的训练过程，先训练一个iteration，记录张量的访问模式以及统计每个算子的计算时间C、内存开销U，并根据每个算子的内存开销U以及通信带宽β计算出每个算子的通信开销T；S03.在深度学习模型的训练过程中，使用预先定义的张量类型STensor对各张量的状态和版本进行管理，所述张量类型STensor中设置有用于标识张量是否可以被驱逐的flag字段、用于记录张量的存储位置的location字段、用于记录该张量的引用计数值的refcount字段以及用于记录最后一次修改当前张量的时间戳的timestamp字段戳；每当创建或操作张量时，更新张量对应的所述refcount字段，当对张量进行修改时，在张量对应的所述timestamp字段中更新修改时的时间戳，并记录张量的访问顺序；S04.当需要在GPU上分配内存时，根据GPU空闲内存的充足状态控制使用张量并对张量类型STensor的各字段进行更新，其中如果内存不足时，选择最近最少使用的张量，将选择的张量换出到CPU内存上，并修改对应的location字段以及flag字段。
全文数据：
权利要求：
百度查询： 中国人民解放军国防科技大学 基于张量版本控制的内存优化方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号