龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京科杰科技有限公司
摘要：本发明涉及数据处理技术领域，尤其涉及一种Spark多任务依赖调度方法，包括以下步骤：任务提交组件将用户输入的任务调度语法提交到DAG图生成组件，所述DAG图生成组件根据弹性分布式数据集对所述任务调度语法中的依赖关系进行解析并生成依赖任务执行计划的DAG图；使用依赖任务调度组件根据所述依赖关系对所述依赖任务执行计划中的所有任务进行调度；基于任务调度平均时长对垃圾回收触发阈值进行初次调节，或，根据实际任务调度的差异数量占比对同时调度的任务数量进行调节，或，基于DAG图中对任务依赖关系的遗漏数量占比对弹性分布式数据集的调用粒度进行调节。本发明实现了任务调度效率的提高。
主权项：1.一种Spark多任务依赖调度方法，其特征在于，包括以下步骤：将用户输入的任务调度语法提交到DAG图生成位置；根据弹性分布式数据集对所述任务调度语法中的依赖关系进行解析并生成依赖任务执行计划的DAG图；根据所述依赖关系将所述依赖任务执行计划中的任务调入内存以执行所述任务；获取若干次任务调度过程的任务调度时长，并根据任务调度的平均时长判定任务调度效率是否符合要求；若所述任务调度的平均时长大于预设第二平均时长，判定所述任务调度效率不符合要求，对垃圾回收触发阈值进行初次调节，分别获取按照初次调节后的垃圾回收阈值运行的若干次Spark运行过程中出现运行卡顿的次数和Spark运行的总次数，根据所述Spark的运行卡顿次数的占比对所述垃圾回收触发阈值进行二次调节；若所述任务调度的平均时长大于预设第一平均时长且小于等于所述预设第二平均时长，初步判定依赖关系转换为DAG图的精准性不符合要求，并根据实际任务调度的差异数量占比对依赖关系转换为DAG图的精准性进行二次判定；若所述实际任务调度的差异数量占比大于预设第二差异数量占比，则二次判定依赖关系转换为DAG图的精准性不符合要求，并调节同时调度的任务数量；若所述实际任务调度的差异数量占比大于预设第一差异数量占比小于等于所述预设第二差异数量占比，则根据DAG图中对任务依赖关系的遗漏数量占比对所述弹性分布式数据集的调用粒度进行调节。
全文数据：
权利要求：
百度查询： 北京科杰科技有限公司 一种Spark多任务依赖调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号