龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：山东海量信息技术研究院
摘要：本申请公开了计算机技术领域内的一种模型内存占用优化方法、设备、介质、产品及系统。本申请针对特定推理请求预测其推理结果的内存占用范围，约束了推理结果的内存占用量，且该过程综合考虑了预训练模型所在的目标异构算力设备的当前内存剩余空间，由此结合设备的实际内存使用情况进行内存优化设计，不仅能够节约异构算力的内存，避免算力闲置与资源浪费，还能实现用户无感知，为提升推理请求处理效率和并发数提供了可能。
主权项：1.一种模型内存占用优化方法，其特征在于，包括：接收预训练模型的推理请求；利用第一策略从所述推理请求中提取得到所述推理请求对应的推理结果的内存占用信息，利用第二策略根据所述推理请求生成所述推理请求对应的推理结果的内存占用信息，得到至少两个内存占用信息；所述第二策略能够控制所述推理结果的推理质量；根据所述预训练模型所在的目标异构算力设备的当前内存剩余空间和所述至少两个内存占用信息中的最大值，预测所述推理结果的最大内存占用信息；根据所述最大值和所述最大内存占用信息，确定所述推理结果的内存占用范围。
全文数据：
权利要求：
百度查询： 山东海量信息技术研究院 一种模型内存占用优化方法、设备、介质、产品及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号