首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种企业级数据仓库任务的统一调度方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:广州越创智数信息科技有限公司

摘要:本发明涉及数据仓库技术领域,公开了一种企业级数据仓库任务的统一调度方法及系统,包括以下具体步骤:收集ODS数据库的资源状态信息及任务状态信息;根据ODS的资源状态,修改最大任务并发数及核心任务优先级;收集DW数据库的资源状态信息及任务状态信息;根据DW的资源状态修改最大任务并发及核心任务优先级;收集CUBE数据库的资源状态信息及任务状态信息;根据CUBE的资源状态修改最大任务并发数。本发明解决了现有技术不适用于数据仓库,缺乏针对每个数据库的任务调度设计,没有考虑任务分级的问题,且具有可智能化,自动化运行的特点。

主权项:1.一种企业级数据仓库任务的统一调度方法,其特征在于:所述企业级数据仓库包括ODS、DW、CUBE数据库,所述方法包括以下具体步骤:数据仓库进行作业查找流程时,收集ODS数据库的资源状态信息及任务状态信息;收集了ODS或DW的任务状态信息后,还对资源状态信息及任务状态信息进行分类分级,获得核心任务、任务优先级,具体步骤为:对于ODS的任务:查询核心关键业务报表,若其中的任务与ODS的任务对应,则将该任务作为核心任务;设计考虑应用场景重要程度、表平均加工时长、表数据量、数据敏感程度、任务创建时间的ODS评价标准,并根据需求分别对ODS评价标准中的每个评价项进行赋权;根据ODS评价标准对ODS的核心任务队列以及非核心任务队列中的任务进行评分;根据评分分别将ODS的核心任务队列以及非核心任务队列中的任务排列优先级;对于DW的任务:查询核心关键业务报表,若其中的任务与DW的任务对应,则将该任务作为核心任务;设计考虑应用场景重要程度、表平均加工时长、表被引用深度或广度任一项、数据敏感程度、任务创建时间的DW评价标准,并根据需求分别对DW评价标准中的每个评价项进行赋权;根据DW评价标准对DW的核心任务队列以及非核心任务队列中的任务进行评分;根据评分分别将DW的核心任务队列以及非核心任务队列中的任务排列优先级;判断ODS的资源状态是否紧张,若是则减少最大任务并发数;若否则进一步判断当前任务排队队列是否过长及是否存在核心任务延迟,若队列过长则增加最大任务并发数,若存在核心任务延迟则上调该核心任务优先级;ODS的数据被提取并加载到DW后,收集DW数据库的资源状态信息及任务状态信息;判断DW的资源状态是否紧张,若是则减少最大任务并发数;若否则进一步判断当前任务排队队列是否过长、是否存在核心任务延迟,若队列过长则增加最大任务并发数,若存在核心任务延迟则上调该核心任务优先级;DW的数据被提取并加载到CUBE后,收集CUBE数据库的资源状态信息及任务状态信息;判断CUBE的资源状态是否紧张,若是则减少最大任务并发数;若否则进一步判断当前任务排队队列是否过长,若否则将增加最大任务并发数。

全文数据:

权利要求:

百度查询: 广州越创智数信息科技有限公司 一种企业级数据仓库任务的统一调度方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。