买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:上海沄熹科技有限公司
摘要:本发明公开基于ClickHouse数据库内存数据的查询支持方法及系统,涉及数据库内存数据处理领域;构造块数据对象,临时存储内存数据,利用迭代器循环查找所需内存数据,将符合条件的内存数据保存至块数据对象中,按照ClickHouse数据库建表排序方式进行块数据对象中内存数据的排序处理,调用ClickHouse折叠树引擎的内存数据写入接口,将块数据对象中内存数据写入至ClickHouse的内存数据对象中,通过ClickHouse的SQL执行流程将内存数据对象信息作为元数据信息插入至存储磁盘元数据信息的列表中,根据元数据信息对列表中磁盘的内存数据进行获取,查询处理磁盘中的内存数据。
主权项:1.基于ClickHouse数据库内存数据的查询支持方法,其特征是包括:进行内存数据查询前,ClickHouse进行内存数据的写入过程,其中进行内存数据写入时,将数据先写入到memTable中进行内存数据存储,数据格式采用键-值格式,键-值数据写入之前进行日志写入,保证数据的原子一致性以及可以针对数据进行异常恢复,当数据量达到一定阈值时,根据ClickHouse的建表信息,将KV数据转为列数据格式,将列数据格式的数据写入到ClickHouse的内存中,步骤1:内存数据查询准备流程:构造块数据对象,临时存储内存数据,利用迭代器循环查找所需内存数据:利用迭代器根据需要查询的内存数据的起始信息,构造出迭代器所需要的起始值,根据起始值,查找所需内存数据的起始位置,利用迭代器循环查找下一条内存数据,过滤不符合条件的内存数据,保存符合条件的内存数据至块数据对象中,直至获取不到符合条件的内存数据,终止查找;将符合条件的内存数据保存至块数据对象中,按照ClickHouse数据库建表排序方式进行块数据对象中内存数据的排序处理,调用ClickHouse折叠树引擎的内存数据写入接口,将块数据对象中内存数据写入至ClickHouse的内存数据对象中;步骤2:通过ClickHouse的SQL执行流程进行内存数据查询:将内存数据对象信息作为元数据信息插入至存储磁盘元数据信息的列表中,解析sql,生成对应的抽象语法树,构建所述抽象语法树的解释器,通过解释器获取存储磁盘元数据信息,其中根据解释器生成逻辑计划,将存储磁盘元数据信息的列表存储在逻辑计划中,根据逻辑计划,生成物理计划,执行物理计划,调用内存数据对象的读取接口对存储磁盘元数据信息的列表中元数据信息进行获取,根据列表中元数据信息,查询处理磁盘中的内存数据,调用内存数据对象的读取接口根据元数据信息对列表中磁盘的内存数据进行获取,查询处理磁盘中的内存数据。
全文数据:
权利要求:
百度查询: 上海沄熹科技有限公司 基于ClickHouse数据库内存数据的查询支持方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。