首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于ADF的企业级数据仓库作业的统一调度方法与系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:广州越创智数信息科技有限公司

摘要:本发明涉及数据仓库技术领域,公开了一种基于ADF的企业级数据仓库作业的统一调度方法与系统,包括以下具体步骤:将当天需要执行的任务插入到任务执行表中;轮询任务执行表,直至任务执行表中的所有任务的执行状态都为完成;获取数据库中正在运行的任务数、最大并发任务数;获取当前可运行的任务列表,令当前可运行的任务列表中的任务符合依赖条件,且正在运行的任务数不超过最大并发任务数;获取当前可运行的任务列表中任务的具体任务信息;根据任务的具体任务信息将任务分发;执行分发的任务。本发明解决了现有技术缺乏对数据仓库作业的统一管理机制的问题,且具有能够减少任务冲突以及随机误差,提高任务处理效率的特点。

主权项:1.一种基于ADF的企业级数据仓库作业的统一调度方法,其特征在于:包括以下具体步骤:采用基于ADF的计划触发器,定时触发基于ADF的任务生成管道;基于ADF的任务生成管道执行存储过程,按指定规则从ADF元数据库中的任务配置表生成任务执行表;根据任务的优先级,将当天需要执行的任务插入到任务执行表中;轮询任务执行表,直至任务执行表中的所有任务的执行状态都为完成;获取数据库中正在运行的任务数、最大并发任务数;获取当前可运行的任务列表,令当前可运行的任务列表中的任务符合依赖条件,且正在运行的任务数不超过最大并发任务数;轮询任务执行表时,可对日批以及微批的任务进行轮询;对于日批任务,通过ADF判断器判断正在运行的任务数是否小于允许最大执行的任务并发数,若是,则获取当前可运行的任务列表;对于微批任务,通过ADF判断器判断正在运行的任务数是否小于允许最大执行的任务并发数,若是,则进一步判断任务执行表中是否有任务或下游DW在当日当批前有未完成的任务,若有则先获取任务执行表中的任务组中未完成的任务组,后获取当前批次;若否则获取当前任务组的当前可运行的任务列表;获取当前可运行的任务列表中任务的具体任务信息;根据任务的具体任务信息将任务分发;执行分发的任务。

全文数据:

权利要求:

百度查询: 广州越创智数信息科技有限公司 一种基于ADF的企业级数据仓库作业的统一调度方法与系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。