买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浪潮软件科技有限公司
摘要:本发明涉及大数据领域,具体提供了一种解决跨域异构数据联合检索的方法,具有以下步骤:S1、搭建引擎管理平台;S2、架构分布式的数据协同引擎;S3、进行数据访问引擎;S4、多域数据源管理平台;S5、构建协同数据缓存库;S6、开放协同服务总线;S7、输出完整的协同计算总线平台。与现有技术相比,本发明满足跨部门的大数据协同计算,融合科信、对外以服务形式提供业务综合分析服务,提升业务部门管控、防御能力,具有良好的推广价值。
主权项:1.一种解决跨域异构数据联合检索的方法,其特征在于,具有以下步骤:S1、搭建引擎管理平台;采用Apache开源产品Ambari将协同引擎组件presto进行组件化封装,Ambari进行presto的自动化部署、管理及监控,将presto组件进行多节点的分布式架构的编排;presto组件进行多节点的分布式架构的编排时,其中一个节点上安装Prestocoordinator,剩余节点上安装Prestoworker,构成一个多节点分布式架构模式;S2、架构分布式的数据协同引擎;基于协同计算引擎Presto开发数据库,使用Presto的plugin插件进行集成,将开发的数据库通过connector内部逻辑统一转换为符合SQL92标准的SQL语法;同时,根据协同计算集群实际的资源情况,对presto的线程数、并发数和JVM这些参数进行调优配置,再通过Ambari管理平台,进行Presto组件的自动化部署,实现分布式协同计算引擎的部署;S3、进行数据访问引擎;基于协同计算总线引擎Presto,开发具备分析器、优化器、分解器和调度器的数据访问引擎,所述数据访问引擎符合SQL92标准的SQL输入及解析;通过与Presto的访问引擎进行适配对接,用于对标准SQL的输入、解析、执行及调度能力;S4、多域数据源管理平台;基于协同计算引擎Presto,实现多域数据源管理平台,对管理者和开发者来说,所述管理者基于Presto引擎的任务监控大屏;对开发者的数据源权限开放和API访问申请进行审批或驳回,同时实现对各类用户配置各类数据源库表列的访问操作权限;S5、构建协同数据缓存库;基于引擎管理平台的自动化部署能力,构建Hive和MySQL两类缓存库,将初步计算后的结果存储至所述Hive和MySQL两类缓存库,若初步计算后的结果不全面,开发者进行数据的二次并行计算;S6、开放协同服务总线;将各部门注册并发布的数据源与API服务,通过协同服务总线对上层应用进行开放,开发者通过协同服务总线,浏览各部门发布的各类异构数据源以及API详细信息,进行线上申请审批;S7、输出完整的协同计算总线平台。
全文数据:
权利要求:
百度查询: 浪潮软件科技有限公司 一种解决跨域异构数据联合检索的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。