龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：河南中原消费金融股份有限公司
摘要：本发明涉及数据缓存技术领域，尤其涉及一种海量实时存储低延迟全量数据同步一致性的保障方法，包括：采用数据同步工具将增量数据写入消息队列，生成检查点；将目标实时存储库设置为下线状态；对全量最新数据进行数据转换处理，并将转换处理数据导入目标实时存储库；将目标实时存储库设置为上线状态；启动CDC增量数据处理流程序，消费消息队列中的增量数据，并对目标实时存储库中存储的转换处理数据进行回放处理。本发明通过引入有效的增量同步机制，能够减小对已经上线的目标实时存储库的数据延迟影响，以捕获源业务系统数据库的数据变化，并快速将这些变化应用于目标实时存储库中，有助于及时决策和应对市场变化。
主权项：1.一种海量实时存储低延迟全量数据同步一致性的保障方法，其特征在于，包括：获取源业务系统数据库的增量数据，采用数据同步工具将增量数据写入消息队列，得到消息队列中目标主题下的CDC日志数据，并基于CDC日志数据，生成对应CDC日志数据的检查点；根据将源业务系统数据库上线到目标实时存储库的实际需求，将目标实时存储库设置为下线状态；采用SparkSQL工具或FlinkSQL工具对全量最新数据进行数据转换处理，得到转换处理数据，并将转换处理数据导入目标实时存储库；当转换处理数据导入完毕后，将目标实时存储库设置为上线状态；启动CDC增量数据处理流程序，根据消息队列中目标主题下检查点的排列顺序，CDC增量数据处理流程序消费消息队列中的增量数据，并对目标实时存储库中存储的转换处理数据进行回放处理。
全文数据：
权利要求：
百度查询： 河南中原消费金融股份有限公司 一种海量实时存储低延迟全量数据同步一致性的保障方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号