买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学院信息工程研究所
摘要:本发明涉及一种面向时序数据的索引分区管理方法和系统。该方法包括:将一条时序数据创建索引所需的必要信息封装到一个Document对象中;根据时序数据的时间值,基于TimeDetector组件判断时序数据的索引所属的索引分区;根据时序数据所属的索引分区的起止时间,从TimePartitionMetadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象;利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作。本发明将时序数据索引数据在时间维度进行分区管理,能够大幅提升查询效率,适合查询类型复杂且数据量大的时序数据应用场景。
主权项:1.一种面向时序数据的索引分区管理方法,其特征在于,采用以下步骤创建索引:将一条时序数据中各个字段创建索引所需的必要信息封装到一个Document对象中;根据时序数据的时间值,基于TimeDetector组件判断时序数据的索引所属的索引分区;根据时序数据所属的索引分区的起止时间,从TimePartitionMetadata组件中得到该索引分区的元数据信息以及与该索引分区相关的IndexWriter对象;利用对应索引分区的IndexWriter对象对Document对象中封装的数据进行索引创建操作;所述基于TimeDetector组件判断时序数据的索引所属的索引分区,包括:保留两个能够写入索引数据的索引分区,分别为最近可写索引分区和乱序缓存索引分区,分别用来保存大部分时间有序数据的索引以及部分乱序数据对应的索引;通过TimeDetector组件决定一条时序数据的索引是属于最近可写索引分区还是乱序缓存索引分区;TimeDetector组件根据当前时间和索引分区的窗口大小,维护一个最近可写索引分区,如果一条时序数据对应的时间值属于最近可写索引分区,则该条时序数据是有序的;反之则该条时序数据为无序的,将其对应的索引写入乱序缓存索引分区中;所述TimePartitionMetadata组件负责维护所有索引分区的元数据信息;索引分区的元数据信息在内存中存放在一个Map当中,键是由索引分区的起始时间和终止时间组成,值包含索引分区的IndexWriter、IndexReader组件,索引分区的磁盘存放路径,以及索引分区中索引的数据量;所述TimePartitionMetadata组件还负责索引分区元数据信息的持久化保存,以避免索引分区元数据信息的丢失。
全文数据:
权利要求:
百度查询: 中国科学院信息工程研究所 一种面向时序数据的索引分区管理方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。