买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海金融期货信息技术有限公司

摘要：本发明公开了一种基于Spark引擎的智能分析系统，解决了智能分析服务的性能问题，且系统架构更灵活独立，复杂度降低，还拓宽科技监管的应用场景。其技术方案为：利用Spark分布式技术，将原先单机运行的算法改造成可分布式运行的算法，以集群计算方式解决Python算法单机运行的性能瓶颈，实现将智能分析服务应用于长时间、大数据分析场景，支持海量数据分析和价值挖掘，可以拓宽科技监管的探索深度和广度。将智能服务生产离线数据与监查系统消费离线数据两种行为解耦合，采用定时任务调度管理方式，避免现有系统里Java框架和Django框架间不稳定的服务调用交互，使架构更灵活独立，降低复杂度。还增加提供实时数据服务功能，拓宽科技监管的应用场景。

主权项：1.一种基于Spark引擎的智能分析系统，其特征在于，系统包括智能分析模块、大数据集群模块和服务查询模块，智能分析模块中设置有数据处理模块和数据服务调用管理模块，智能分析模块和大数据集群模块建立双向的数据传输，服务查询模块集成在监查系统中，监查系统接收大数据集群模块的输出，监查系统和智能分析模块建立双向的数据传输，其中：数据处理模块，用于实现基于Spark引擎的智能分析服务的数据逻辑；数据服务调用管理模块，用于实现基于Spark引擎的智能分析服务的定时触发，以生成预期数据供后续消费；大数据集群模块，包括Spark组件及其数据资源，用于对数据存储访问和数据查询分析的支持；服务查询模块，实现基于Spark引擎的智能分析服务结果的对外展示；其中，数据处理模块配置为针对特定业务选取适用算法，利用Spark集成的SparkMlib和GraphX库，并基于存储在大数据集群模块上的数据资源进行数据预处理、计算、训练和预测，输出结果文件并存储于大数据集群模块上，其中算法根据业务实际需求编写；其中，数据处理模块配置为离线部分和实时部分，其中离线部分与监查系统进行解耦合，实时部分为监查系统提供实时应用服务支持；其中，数据处理模块中的Spark引擎配置为接收本地文件系统、大数据集群模块上的分布式文件系统Hdfs、数据库和Kafka流式数据源的四种输入，采用SparkSql、SparkStreaming、SparkMlib和SparkGraphX组件对业务或算法进行处理，输出为大数据集群模块上的分布式文件系统Hdfs、数据库、实时报告展示和Kafka流式数据源这四种类型。

全文数据：

权利要求：

百度查询： 上海金融期货信息技术有限公司 一种基于Spark引擎的智能分析系统