恭喜杭州玳数科技有限公司徐超获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜杭州玳数科技有限公司申请的专利一种基于Flink的分布式增量数据同步方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119149648B 。
龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411649702.2,技术领域涉及:G06F16/27;该发明授权一种基于Flink的分布式增量数据同步方法及装置是由徐超;宁海元;闵佳设计研发完成,并于2024-11-19向国家知识产权局提交的专利申请。
本一种基于Flink的分布式增量数据同步方法及装置在说明书摘要公布了:本发明公开了一种基于Flink的分布式增量数据同步方法及装置,属于网络应用技术领域,包括:在作业管理器中根据预设的分块键和分块大小确定分块边界,构建分片式数据库查询语句;确定分块的校验和计算规则,并生成参数化数据库查询语句;在表管理器中存储数据库信息,并获取校验数据存储表;计算分块的初始校验和,并全部写入校验数据存储表中;在任务管理器中接收作业管理器下发的分块信息;初始化增量数据同步任务并执行,计算目标分块的最新校验和以与其初始校验和进行比对,根据比对结果执行增量数据同步操作。本申请在不需要数据库开启增量字段的情况下就可以基于指定的列获取到表中的数据变更,极大地提高了数据集成场景下数据变更的及时性。
本发明授权一种基于Flink的分布式增量数据同步方法及装置在权利要求书中公布了:1.一种基于Flink的分布式增量数据同步方法,其特征在于,包括以下步骤:在作业管理器中根据预设的分块键和分块大小确定每个分块的边界,并根据所述边界构建分片式数据库查询语句;根据目标校验算法确定分块的校验和计算规则,并生成所述校验和计算规则对应的参数化数据库查询语句,所述目标校验算法包括目标第一校验算法和目标第二校验算法,所述目标第二校验算法包括按位异或算法和自定义第二校验算法;初始化表管理器以在所述表管理器中存储每次增量数据同步相关的数据库信息,并获取其元数据库中用于存储分块索引及其对应校验和的校验数据存储表;基于所述分片式数据库查询语句和所述参数化数据库查询语句计算每个分块的初始校验和,并将得到的初始校验和及其分块索引全部写入所述校验数据存储表中;在任务管理器中接收所述作业管理器下发的包含目标分块索引的分块信息,并根据所述目标分块索引从所述校验数据存储表中提取目标分块对应的初始校验和;初始化增量数据同步任务并执行,计算所述目标分块的最新校验和以与其初始校验和进行比对,根据比对结果执行增量数据同步操作;其中,所述根据目标校验算法确定分块的校验和计算规则,包括:判断根据目标第一校验算法生成的校验码是否为整数;于所述校验码为整数且所述目标第二校验算法为按位异或算法时,对所述校验码进行异或运算并将运算结果转换为小写的十六进制字符串;于所述校验码不为整数且所述目标第二校验算法为按位异或算法时,根据所述校验码的宽度分割其表达式并将分割结果拼接后转换为小写的十六进制字符串;于所述校验码为整数且所述目标第二校验算法为所述自定义第二校验算法时,将所述校验码与其累积值拼接后输入所述目标第一校验算法中进行计算得到输出,并将所述输出转换为十六进制字符串,调用目标第二校验算法对转换得到的十六进制字符串进行计算;于所述校验码不为整数且所述目标第二校验算法为自定义第二校验算法时,将所述校验码与其累积值拼接后输入所述目标第一校验算法中进行计算得到输出,并调用所述目标第二校验算法对所述输出进行计算。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州玳数科技有限公司,其通讯地址为:310000 浙江省杭州市余杭区仓前街道余杭塘路2301号海智中心8幢102室-5;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。