龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京中兴新软件有限责任公司
摘要：本发明实施例提供一种Spark性能优化控制方法、装置、设备及存储介质，通过确定出待优化的Spark任务的初始的运行配置参数，然后根据该运行配置参数控制该Spark任务运行，并获取该Spark任务运行过程中的资源占用信息，根据获取到的资源占用信息确定需要对所述运行配置参数进行调整时，基于资源占用信息对该Spark任务的运行配置参数进行调整，也即对Spark任务的运行配置参数根据Spark任务的具体运行情况进行闭环动态调整优化，使得Spark任务运行过程尽可能的对资源进行合理的利用，能够快速提升Spark的性能。
主权项：1.一种Spark性能优化控制方法，包括：确定待优化的Spark任务的运行配置参数；根据所述运行配置参数控制所述Spark任务运行，获取所述Spark任务运行过程中的资源占用信息；根据所述资源占用信息确定需要对所述运行配置参数进行调整时，基于所述资源占用信息对所述运行配置参数进行调整；根据调整后的运行配置参数控制所述Spark任务运行；所述运行配置参数包括资源配置参数，所述资源配置参数包括预分配的处理器内核数，确定所述待优化的Spark任务预分配的处理器内核数包括：使用样本数据或空数据执行一遍所述待优化的Spark任务，获取所述待优化的Spark任务的执行日志，根据所述执行日志得到所述待优化的Spark任务执行的物理计划，所述物理计划为所述待优化的Spark任务运行所执行的代码；获取所述待优化的Spark任务的输入数据源，根据所述物理计划获取关键算子操作的层级和个数，根据所述输入数据源和所述关键算子操作的层级和个数计算各所述关键算子操作的计算复杂度；根据各所述关键算子操作的计算复杂度，获取所述待优化的Spark任务的计算复杂度；根据所述待优化的Spark任务的计算复杂度确定所述待优化的Spark任务预分配的处理器内核数。
全文数据：
权利要求：
百度查询： 南京中兴新软件有限责任公司 Spark性能优化控制方法、装置、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号