买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种支持实时更新和即席查询的主键存储引擎及存储方法，采用日志结构合并树的存储形式，进行顺序写操作，主键唯一性采用写入时合并的方式，并引入删除位图，新写入的数据插入到内存表，当内存中数据达到容量阈值时，数据落盘至磁盘，此时在内存中，通过暂存主键暂存部分数据用于后台执行的删除位图更新和查询去重，每个层文件都存在对应删除位图，在数据写入时更新相应文件数据的删除标记，在数据查询时根据删除位图过滤被删除或覆盖的文件数据。本发明在保证主键唯一性的同时，有效减少查询时的去重开销，并通过各种自定义索引来加速查询性能，利用顺序写操作提升写入性能，从而在写入和查询性能之间取得了更好的平衡。

主权项：1.一种支持实时更新和即席查询的主键存储方法，应用于包括内存和磁盘的主键存储引擎，其特征在于：所述内存上包含内存表和暂存主键，所述磁盘上包含存储引擎的元数据和存储引擎的数据，存储引擎的元数据包括删除位图文件，存储引擎的数据为多层结构，每层包含一组层文件；采用日志结构合并树的存储形式，进行顺序写操作，主键唯一性采用写入时合并的方式，新写入的数据插入到内存表，当内存中数据达到容量阈值时，数据落盘至磁盘，此时在内存中，通过暂存主键暂存部分数据用于后台执行的删除位图更新和查询去重，每个层文件都存在对应删除位图，在数据写入时更新相应文件数据的删除标记，在数据查询时根据删除位图过滤被删除或覆盖的文件数据；所述主键存储方法包括如下步骤：步骤S101：写入预写日志；步骤S102：写入可变内存表；步骤S103：当可变内存表中的数据量达到容量阈值时，该内存表会按主键排序并形成不可变内存表；步骤S104：内存中数据达到容量阈值时，触发后台刷盘，将内存中的数据写入磁盘，作为一层层文件，而本次刷盘的数据将会存储在内存的暂存主键中，作为下次删除位图更新和查询去重的依据；步骤S105：刷盘后根据触发条件判断各层是否需要进行合并，然后根据文件选取策略进行合并；所述触发条件，是检查每层的数据量是否超过阈值，以及每层中被删除或覆盖的行数占总大小的比例，当存在多个层满足触发条件时，选择分数最高的层；所述文件选取策略，是从选择的层中最旧的文件开始，选取互相重叠的排序运行文件，并计算分数做最优选择；数据查询包括如下步骤：步骤S301：获取内存数据；从缓存引擎中取出所需的列，若是主键点查，会采用二分查找的方式搜索各个内存表；步骤S302：获取元数据版本快照；从metaversion中获取层文件信息、删除位图信息以及暂存主键；步骤S303：获取磁盘数据；通过索引进行过滤，构建各文件的位图来访问所需的数据块；所述过滤包括bloomfilter过滤、zonemap过滤和deletebitmap过滤；所述bloomfilter过滤，当进行主键点查，或对存在bloomfilter索引的列做等值查询时，会对各个层文件进行文件级别的bloomfilter过滤，找出所有可能存在结果的所有文件；所述zonemap过滤，当进行等值或范围查询时，会对每个层文件做块级别的过滤，找出所有满足条件的块；所述deletebitmap过滤，在上述过滤完成后，将该文件的删除位图和记录行号的位图取交集，过滤掉已被删除和覆盖的行；步骤S304：计算谓词条件结果，过滤掉不需要的行；步骤S305：将查询结果与缓存引擎和暂存主键做去重；步骤S306：返回查询结果。

全文数据：

权利要求：

百度查询： 浙江智臾科技有限公司 一种支持实时更新和即席查询的主键存储引擎及存储方法