龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京奥拓电子科技有限公司
摘要：本发明属于机器学习技术领域，公开了一种基于自动适配和动态优化的模型推理方法及系统。所述方法包括：发送第一请求至硬件配置模块以基于目标通信通道实现目标设备与动态库的交互通信；其中，硬件配置模块包括若干通信通道，通信通道基于设备属性与操作属性和待接入设备一一对应；所述第一请求包括目标设备的设备属性及操作属性；发送第二请求以加载目标驱动插件，进而以实现目标模型在目标设备上的加载；其中，目标驱动插件由目标设备对应的厂商基于预定义的接口规范编写构建；基于资源分配策略为目标模型进行资源配置，并基于多流并行策略及图优化技术进行动态优化以实现目标模型的模型推理。本发明具有设备兼容性强、资源配置更优的技术优势。
主权项：1.一种基于自动适配和动态优化的模型推理方法，其特征在于，包括：发送第一请求至硬件配置模块以基于目标通信通道实现目标设备与动态库的交互通信；其中，所述硬件配置模块包括若干通信通道，所述通信通道基于设备属性与操作属性和待接入设备一一对应；所述第一请求包括目标设备的设备属性及操作属性；发送第二请求以加载目标驱动插件，进而以实现目标模型在目标设备上的加载；其中，所述目标驱动插件由目标设备对应的厂商基于预定义的接口规范编写构建；基于资源分配策略为目标模型进行资源配置，并基于多流并行策略及图优化技术进行动态优化以实现目标模型的模型推理；其中，所述图优化技术融合有常量折叠技术、公共子表达式消除技术、剪枝技术、特有shape优化技术及内存优化技术；所述资源分配策略为：定义共有n个模型推理任务；任一模型推理任务i对应的计算需求为Di，对应的优先级为Pi，对应分配给其的GPU资源量为Gi，则所述GPU资源量通过如下公式动态获取： 其中，表示所有模型推理任务的计算需求和优先级的加权和，表示模型推理任务i的加权需求比例，R表示当前可用的GPU资源总量。
全文数据：
权利要求：
百度查询： 南京奥拓电子科技有限公司 一种基于自动适配和动态优化的模型推理方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号