买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：国网经济技术研究院有限公司;北京建筑大学

摘要：本发明公开了一种针对电网工程勘测数据的快速检索方法及系统，涉及电网数据处理方法技术领域。所述方法包括如下步骤：基于电网工程勘测数据来源及类型进行数据分类，使用HBase存储电网工程勘测结构化数据，使用HDFS存储电网工程勘测非结构化数据；设计联合时空特征的Rowkey，基于联合时空特征的Rowkey实现HBase结构化数据检索，基于Elasticsearch进行HBase结构化数据二级检索，实现多条件结构化数据检索；基于HDFS实现非结构化数据检索，最终基于Elasticsearch、HBase、HDFS完成电网工程勘测数据的检索。本发明方法针对电网工程勘测数据特点进行设计，实现了电网勘测数据的快速、精准检索，为电网工程勘测数据管理领域提供有力支持。

主权项：1.一种针对电网工程勘测数据的快速检索方法，其特征在于，包括如下步骤：将电网工程勘测数据根据数据来源及类型进行分类，使用HBase数据库存储结构化数据，使用HDFS存储非结构化数据；设计联合时空特征的Rowkey，联合时空特征的Rowkey由数据类型码、空间码、空间排序码、时间码以及随机标识码连接而成，共计86位字符，基于联合时空特征的Rowkey实现HBase结构化数据检索；基于Elasticsearch进行HBase结构化数据二级检索，实现多条件结构化数据检索；基于HDFS实现非结构化数据检索，最终基于Elasticsearch、HBase、HDFS完成对电网工程勘测数据的快速检索；所述设计联合时空特征的Rowkey，包括如下步骤：设置电网工程勘测数据类型，获得数据类型码；对电网工程勘测数据进行Hilbert格网划分，获得数据空间码；基于电网工程勘测数据时间信息，获得数据时间码；使用哈希函数加密算法，生成数据随机标识码；依次连接数据类型码、空间码、空间排序码、时间码和随机标识码，获得联合时空特征的Rowkey；所述设置电网工程勘测数据类型，获得数据类型码，包括：将电网工程勘测数据划分为四种类型，分别为遥感影像数据、基础勘测数据、传感器数据和三维模型数据，记遥感影像数据类型码为0，基础勘测数据类型码为1，传感器数据类型码为2，三维模型数据类型码为3；所述对电网工程勘测数据进行Hilbert格网划分，获得数据空间码，包括如下步骤：首先将电网工程勘测数据按照空间范围映射至一维Hilbert曲线上，然后采用网格迭代四分法对网格进行划分，第一级网格被划分为4个网格，按照Hilbert曲线的方向依次编号0，1，2，3，如果第m级网格中的某个网格内有较多对象，则对该网格进行第m+1级迭代划分，每划分一级格网编码增加一位，以此类推，网格最高阶为15阶，即划分15级网格后不再继续划分网格，由此得到空间码；空间码为Hilbert曲线网格编码，确保每个网格的编码长度不超过所设定的最大长度，对Hilbert码不足15位的，在编码后面补占位符“a”，补全至15位；若网格中存在多个对象，则根据对象到网格中心点的距离进行排序，用数字编成空间排序码，排序码表示格网中对象的个数及远近程度，排序码越小表示离格网中心越近，不足3位的在编码前补齐0，补全至3位；所述基于电网工程勘测数据时间信息，获得数据时间码，包括如下步骤：基于电网工程勘测数据时间戳记录的数据产生时间，通过python中的datetime转换为时间戳数值，若数字位数不足10位的在前面补0，补全至10位；所述基于Elasticsearch进行HBase结构化数据二级检索，实现多条件结构化数据检索，包括如下步骤：基于节点磁盘使用率、分片大小和节点已有分片数，设计分片策略，动态调整索引分片数量；基于ElasticSearch对应的Rowkey，在HBase中检索符合条件的结果；所述基于节点磁盘使用率、分片大小和节点已有分片数，设计分片策略，动态调整索引分片数量，包括如下步骤：记数据量为D，节点总个数为n，某个节点i的磁盘使用率为ratei，分片大小为Shard，某个节点i已有分片数为ShardNumi，某个节点i可放置分片数为ShardNumi＇，初始分片数目为ShardNum，某个节点i允许最大分片数为maxShardNumi；（1）通过JAVA接口获得ratei及ShardNumi；当ratei同时满足ratei≤85%且ShardNumi＜maxShardNumi，则当前节点为可用节点；依次类推判断每个节点，直至节点n；当判断完最后一个节点时，将可用节点个数累加，得到初始可用节点总个数；（2）Shard应不超过25G，得到初始主分片数为；（3）利用ShardNum与（1）中求得初始可用节点总个数相除，得到某节点i可放置的分片数量ShardNumi＇；（4）判断ShardNumi＇与maxShardNumi的大小，若则该节点i的分片数量为ShardNumi＇＇=ShardNumi+ShardNumi＇，ShardNumi＇≥maxShardNumi则调整该节点为不可用状态；（5）逐一计算每个可用节点的分片数量；基于ElasticSearch对应的Rowkey，在HBase中检索符合条件的结果，包括：ElasticSearch的每一个单元doc和HBase中的RowKey对应；每个Rowkey具有多个列族以表示不同要素值；对列族中的字段建立索引，通过ElasticSearch的多条件检索快速过滤到符合条件的ＲowKey，通过指定的RowKey在HBase中检索符合条件的结果，以实现海量电网工程勘测数据的高效检索。

全文数据：

权利要求：

百度查询： 国网经济技术研究院有限公司 北京建筑大学 针对电网工程勘测数据的快速检索方法及系统