买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国电子科技集团公司第五十四研究所
摘要:本发明提供一种基于工作流引擎的遥感数据处理插件分布式调度方法。其中,逻辑控制服务对执行过程进行逻辑调度管理,编排整个运行流程,对运行参数进行配置并发起整个流程;主节点服务负责业务插件管理并执行业务调度,接收逻辑控制服务传递的待执行参数信息,收集执行结果信息并反馈至逻辑控制服务,同时协调集群中各计算资源,执行负载均衡策略;从节点服务负责接收主节点服务发送的执行任务参数,调用相关插件执行,并将执行结果及从节点资源使用情况上报至主节点服务。本发明充分利用了工作流技术灵活的调度能力,既简化了开发过程,又提供了所见即所得的流程编排能力,实现了复杂遥感数据处理分布式并行调度能力。
主权项:1.一种基于工作流引擎的遥感数据处理插件分布式调度方法,其特征在于,包括以下步骤:(1)通过逻辑控制服务对执行过程进行逻辑调度管理,编排整个运行流程,同时对运行参数进行配置并发起整个流程;具体方式为:在获取到一轨原始码流数据后,逻辑控制服务对原始码流参数信息进行解析,明确需要执行的业务流程,生成待执行参数信息并发送给主节点服务;通过主节点服务进行业务插件管理并执行业务调度,接收逻辑控制服务传递的待执行参数信息,将待执行参数信息发送给从节点服务,收集执行结果信息并反馈至逻辑控制服务,同时协调集群中各计算资源,执行负载均衡策略,根据负载均衡策略确定将要调度的从节点服务,保证任务的合理分配;通过从节点服务接收主节点服务发送的执行任务参数,调用并执行相关插件,并将执行结果及从节点资源使用情况上报至主节点服务;具体方式为:从节点服务生成参数文档并调用从节点的解密解压缩插件对原始码流数据文件进行处理,依据传感器数量生成若干待分景文件,生成的数据文件存储在分布式共享存储上,并将执行结果反馈给主节点服务;主节点服务收到反馈信息后,根据待分景文件数量,为每一个待分景文件分别生成一个格式化分景实例,主节点服务以各实例为调度单元,根据负载均衡策略确定各实例将要使用的从节点,各从节点服务分别调用本地格式化分景插件完成处理,生成的景数据文件均存储在分布式共享存储上,并将执行结果反馈给主节点服务继续完成后续插件的调度执行;各个格式化分景实例相互独立,并行处理,基于各实例产生的各景数据文件分别创建后续产品生产及智能处理实例,并根据负载均衡策略完成具体插件的调用;(2)根据业务插件类型明确各类插件执行时所占资源信息,包括CPU核数和内存容量,插件相关信息包括插件名称、插件功能描述、占用CPU数量、占用内存数量、插件调用服务接口;针对遥感数据处理插件,根据统一模板对插件相关信息进行描述,主节点服务对插件进行编目入库保存,以可视化方式进行插件管理,提供插件增、删、改、查功能;(3)逻辑控制服务基于工作流引擎,读取并处理插件数据库表,对已入库的处理插件信息进行解析,以可视化方式组织管理各类处理插件,通过拖拽方式完成处理插件的流程编排和参数传递设置;(4)流程编排完成后,根据流程输入参数执行流程调度,在执行过程中,逻辑控制服务根据流程编排结果,明确下一步需要执行的任务插件,并将参数传递至主节点服务,主节点服务基于轮询调度策略,根据处理插件部署情况和各从节点资源使用情况,生成调用参数发送给需要调度的从节点服务;明确待调用插件部署在哪些从节点中,主节点服务根据这些从节点服务上报的当前资源使用情况,即从节点空闲CPU数量和内存容量,结合待调用处理插件执行时所占资源信息进行计算,最终确定调用哪个节点,计算公式如下:C=Cn-CaM=Mn-Ma其中,Cn为当前轮询从节点CPU总核数,Ca为待调用处理插件执行时所占用的核数,Mn为从节点内存总量,Ma为待调用处理插件执行时所占用内存容量;当M和C均大于0时,确定对当前从节点的处理插件进行调用;(5)从节点服务根据主节点服务发送的参数信息,生成具体的插件调用参数,完成对插件的调用;在从节点调用处理插件时,采用XML格式文档传递所有专业处理插件的运行参数,对文档中的标签含义进行标准化,针对不同插件的运行参数需求进行标记修改和层次表达,将运行参数信息传递至处理插件中。
全文数据:
权利要求:
百度查询: 中国电子科技集团公司第五十四研究所 一种基于工作流引擎的遥感数据处理插件分布式调度方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。