买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:奇点智保(北京)科技有限公司
摘要:本发明涉及数据处理领域,特别是涉及一种增量数据获取方法、装置、电子设备和存储介质,包括:对于没有时间戳的数据,能够基于该数据的数据标识获取对应的位置编码值,然后利用数据过滤结构判断该位置编码值对应的索引标识是否均为第二索引值,如果是,将该数据不作为增量数据,如果该位置编码值对应的索引标识中存在至少一个索引标识为第一索引值,将该数据作为增量数据,如此能够避免每次都执行全量数据备份,从而提高数据备份速度和降低数据备份资源。
主权项:1.一种增量数据获取方法,其特征在于,所述方法包括如下步骤:S100,在当前计算时刻,从当前业务数据库中获取任一数据表Dg的时间戳字段TFg,如果TFg为空集或者获取到的时间戳字段为无效字段,执行S200;g的取值为1到J,J为当前业务数据库中的数据表的数量;S200,判断当前增量数据库中是否存在与数据表Dg的标识对应的数据过滤结构,如果存在,执行S400;如果不存在,执行S300;其中,所述数据过滤结构包括Q个索引元组,第r个索引元组包括(Lr,Pr),Lr为第r个索引元组对应的位置标识,Pr为第r个索引元组对应的索引标识,r的取值为1到Q;所述数据过滤结构中的索引标识的初始值均为第一索引值;S300,在所述当前增量数据库中为数据表Dg创建对应的数据过滤结构,执行S400;S400,基于数据表Dg中的第i条数据对应的数据标识,获取第i条数据对应的位置编码值集Hgi={hgi1,hgi2,……,hgij,……,hgin},执行S500;其中,hgij为基于第j个位置编码函数获取的第i条数据的位置编码值,i的取值为1到m,m为Dg中的数据的数量,j的取值为1到n,n为位置编码函数的数量;S500,遍历Hgi,对于hgij,如果数据表Dg对应的数据过滤结构FSg中与hgij对应的位置标识对应的索引标识为第一索引值,将hgij对应的索引标识存入对应的当前索引标识记录集Rgij中,并在对应的数据过滤结构FSg中将该对应的索引标识设置为第二索引值,执行S600;如果数据表Dg对应的当前数据过滤结构FSg中与hgij对应的位置标识对应的索引标识为第二索引值,将hgij对应的索引标识存入对应的当前索引标识记录集Rgij中,执行S600;Rgij的初始值为空集;S600,如果Rgij中所有的索引标识均为第二索引值,不将第i条数据作为增量数据,如果Rgij中存在至少一个索引标识为第一索引值,将第i条数据作为增量数据并从当前业务数据库中获取第i条数据;执行S700;S700,设置i=i+1,如果i≤m,执行S400,否则,执行S100。
全文数据:
权利要求:
百度查询: 奇点智保(北京)科技有限公司 一种增量数据获取方法、装置、电子设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。