买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科杰科技有限公司

摘要：本发明涉及计算机技术领域，尤其涉及一种基于Spark任务标识的任务调度方法，该方法包括为每个Spark任务定义唯一的标识符，将标识后的Spark任务存储到待执行任务队列中；根据待执行任务队列中单个任务执行完成的时间与所述单个任务存在依赖关系的其他任务数量确定任务的优先级；根据执行任务调度时集群资源的空闲资源内存以及待执行任务队列中最高优先级任务的优先级确定各任务的执行顺序；将调度的任务发送给可用的Spark集群执行并检测任务的完成状态，将任务的完成状态信息存储到数据库中；根据Spark任务执行时集群资源的空闲资源占比小于预设占比的时长以及任务完成合格程度确定任务调度参数的调整量。

主权项：1.一种基于Spark任务标识的任务调度方法，其特征在于，包括：为每个Spark任务定义唯一的标识符，将标识后的Spark任务存储到待执行任务队列中；根据待执行任务队列中单个任务执行完成的时间与单个任务存在依赖关系的其他任务数量确定单个任务的优先级；根据执行任务调度时集群资源的空闲资源内存以及待执行任务队列中最高优先级任务的优先级确定各任务的执行顺序；将调度的任务发送给可用的Spark集群执行，在任务执行完成后使用Spark的任务状态监控功能来检测任务的完成状态，并将任务的完成状态信息存储到数据库中；根据Spark任务执行时集群资源的空闲资源占比小于预设占比的时长以及任务完成合格程度确定任务调度参数的调整量，其中，所述任务调度参数包括待调度任务队列中任务最大执行时长和最高优先级任务的执行所需内存；在确定任务调度参数的调整量时，包括：根据Spark任务执行时集群资源的空闲资源占比小于预设占比的时长与预设时长的比对结果确定任务调度参数的调整量；根据Spark任务执行时集群资源的空闲资源占比小于预设占比的时长与预设时长的比对结果以及根据任务完成合格程度与预设任务完成合格程度的比对结果确定任务调度参数的调整量；所述预设时长根据任务调度过程中等待至集群资源的空闲资源内存大于所述最高优先级任务的执行所需内存再调度所述最高优先级任务的平均等待时长确定；所述待调度任务队列中任务最大执行时长的调整量与空闲资源的空闲时间呈负相关，所述最高优先级任务的执行所需内存的调整量与空闲资源的空闲时间呈正相关；所述任务完成合格程度由以下公式计算，设定： ；其中，G表示任务完成合格程度，R0表示预设任务重试次数，R表示任务重试次数，A表示任务调度过程中任务的执行数量，Yi表示第i个任务执行时长，Yi0表示第i个任务预设执行时长。

全文数据：

权利要求：

百度查询： 北京科杰科技有限公司 一种基于Spark任务标识的任务调度方法