买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：速度科技股份有限公司

摘要：本发明公开了一种基于Presto扩展的时空大数据SQL引擎的实现方法，步骤为：S1：创建自定义的时空数据源处理连接器，对海量时空数据的存储和时空索引的创建；S2：采用Geomesa作为时空数据处理中间件，实现分布式计算系统面向海量时空数据查询与分析；S3：在Presto客户端和或服务端通过数据类型扩展新增时空数据类型，融合多种数据关联查询，并在JDBC协议接口中对时空类型数据进行解析，完成跨多种数据的时空数据的处理。通过扩展Presto分布式交互SQL引擎框架实现了对海量时空数据的写入和查询，且新增的时空数据源部署简单，有效降低用户分析数据的难度，大幅度扩展数据分析的类型。

主权项：1.一种基于Presto扩展的时空大数据SQL引擎的实现方法，其特征在于，具体包括以下步骤：S1：创建自定义的时空数据源处理连接器，对时空数据的存储和时空索引的管理；S2：采用Geomesa作为时空数据处理中间件，进行数据的关联、聚合排序、过滤、全量扫描，实现分布式计算系统面向海量时空数据查询与分析；S3：在Presto客户端和或服务端通过数据类型扩展新增时空数据类型，融合多种数据关联查询，并在JDBC协议接口中对时空类型数据进行解析，完成跨多种数据的时空数据处理；所述步骤S1中通过继承和重定义Presto服务发现机制SPI接口的相关接口和种类，创建自定义的时空数据源处理连接器，具体步骤为：S11实现扩展时空数据源插件接口类：首先向Presto中注册新的插件名称、扩展的时空数据类型和新插件实例的入口主类；S12实现扩展时空数据源的入口接口类：进行新插件的配置管理、时空数据源连接实例管理、时空数据的获取与写入管理以及时空数据源并行分割管理；S13实现扩展时空数据源的元信息接口类：对时空数据源的数据库对象集合schema管理，包括时空数据表结构信息获取、表结构的创建、表结构的删除、表字段新增和表字段修改和更新；S14实现扩展时空数据类型的接口类：新增对时空数据类型的支持；扩展自定义函数接口类，新增对时空数据的处理函数；S15实现扩展时空数据源连接器：新增对时空数据存储进行连接管理，并实现时空数据的行数据指针功能、数据持久化功能、时空数据的获取和写入功能；S16实现执行计划优化器接口类：通过新增结构化查询SQL优化器的规则，优化结构化查询SQL的物理执行计划，实现对时空数据查询性能优化；所述步骤S1中还包含插件参数的配置，配置参数为：插件名称、时空数据源存储在Hbase中的连接地址、Hbase安全认证用户名、Hbase安全认证密码和Geomesa索引优化配置；部署Hbase集群作为时空数据源的存储，并在Hbase系统目录中对Geomesa时空处理工具包进行配置，启动Hbase集群服务；实现对时空数据的写入、查询和元数据设置，通过本发明的结构化查询SQL引擎创建查询和写入Hbase海量时空信息的数据源；所述步骤S2中先将步骤S1中创建的自定义的时空数据源连接器的代码编译为二进制jar包，再以Presto插件包的方式部署在插件目录中，且在Presto插件包的配置目录中，新增自定义的时空数据源连接器的目录属性文件；所述目录属性文件中包括：Hbase服务连接地址、自定义时空数据源的目录类型、数据库对象集合名称、用户、密码和性能优化相关的配置；再在系统配置文件中设置时空数据源的连接参数，从而自动完成对分布式SQL引擎Presto的扩展，使之对时空数据源的支持；在所述步骤S16中先将结构化查询SQL语法转换为通用查询语法CQL，采用通用查询语法CQL方式将结构化查询SQL语法转换为通用查询语法CQL的具体步骤为：S161：使用结构化查询SQL语法解析器和逻辑优化器把查询谓词进行下推，在查询过滤中提取出附加谓词列表；所述查询谓词包含查询的列和条件值，分别放入指定的数据结构中；S162：若查询谓词是关系表达式，则利用lambda表达式中的映射和归集方法把关系表达式提取出来；然后生成通用查询语法CQL的数据过滤对象；S163：若查询谓词是函数表达式，则提取函数名和函数的入参；在处理入参数据类型时，若入参数据类型为时空数据类型，则把时空数据子类型转换为时空数据父类型，然后生成通用查询语法CQL的数据过滤数据格式；S164：根据查询关系表达式或函数表达式中的占位符，获取对应的数据，并遍历所有占位符集，在条件值列表对象集合中获取常量值进行填充，填充后的表达式再次构建通用查询语法CQL的条件过滤对象；S165：检查获取的时空数据中是否存在有效通用查询语法CQL的条件过滤；若不存在，则补充全表扫描语句；然后通过geotools工具包将通用查询语法CQL语法的条件过滤进行执行，最终从Geomesa数据源获取时空数据集。

全文数据：

权利要求：

百度查询： 速度科技股份有限公司 基于Presto扩展的时空大数据SQL引擎的实现方法