买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏零浩网络科技有限公司;中云数智科技有限公司

摘要：本发明公开了一种基于Debezium内嵌引擎的数据同步方法，涉及数据处理技术领域。为了解决现有技术中的数据同步方法存在同步效率低下、无法适应多种数据目标系统、数据时序性无法保证的问题；一种基于Debezium内嵌引擎的数据同步方法，包括标记映射关系与集合；实时数据捕捉与缓存队列解耦；存量数据同步；数据结构映射关系更新；批量反查主键ID；数据批量同步与时序性保证；通过分片多通道两级缓存队列解耦，能够并行同步数据到多个不同数量不同种类数据目标系统的不同数据库表，实现了数据的高效、灵活和时序性同步，缓解了源数据背压，提高了数据同步的稳定性，适应多种数据目标系统，并保证了数据的准确性和时序性。

主权项：1.一种基于Debezium内嵌引擎的数据同步方法，其特征在于：包括以下步骤：标记映射关系与集合：根据数据源系统与数据目标系统的库表数据结构多对一映射关系，标记数据目标系统数据结构所涉及的数据源系统库表集合，并标记数据源系统库表与数据目标系统库表主键ID映射关系的列名以及查询SQL语句；所述数据源系统包括Mysql、PostgreSQL的关系型数据库系统，所述数据目标系统包括Mysql、PostgreSQL、Elasticsearch的数据存储系统；实时数据捕捉与缓存队列解耦：通过Debezium内嵌引擎实时捕捉数据源系统变更的数据，采用分片多通道两级缓存队列进行解耦；存量数据同步：通过监听数据源系统指定库表，解析并执行存量数据全量以及指定库表的同步命令，进行数据同步；数据结构映射关系更新：通过监听数据源系统指定库表的数据结构刷新命令，实时更新数据源系统与目标数据系统之间的数据结构映射关系；批量反查主键ID：通过监听一级源库表分片缓存队列，批量反查数据源系统SQL，获取数据目标系统数据结构主键ID；数据批量同步与时序性保证：通过监听二级目标库表主键ID分片缓存队列，确保在保持源库表级数据时序性的基础上，将数据批量同步到目标数据系统。

全文数据：

权利要求：

百度查询： 江苏零浩网络科技有限公司 中云数智科技有限公司 一种基于Debezium内嵌引擎的数据同步方法