首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种多数据源临期数据归档的方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:鱼快创领智能科技(南京)有限公司

摘要:本发明提供一种多数据源临期数据归档的方法,包括以下步骤:S1:启动data‑archive‑tool数据归档工具服务;S2:添加归档任务的配置信息;S3:定时根据归档配置生成相应的归档任务执行脚本;S4:定时执行归档任务并记录执行结果;S5:将归档文件手动迁移到文件服务器中存储;本发明方法消除了手动处理数据归档的需求,节省了时间和人力成本;根据配置任务的查询条件决定是执行增量归档还是全量归档,解决现有技术中没有统一方案能兼容增量归档和全量归档的问题,可以应用于整个公司业务线所有的数据源归档。

主权项:1.一种多数据源临期数据归档的方法,其特征在于:包括以下步骤:S1:启动data-archive-tool数据归档工具服务;在服务器上启动data-archive-tool数据归档工具服务,并部署中间件;所述中间件包括pt-archive、datax中间件;其中,pt-archive用于从关系型数据库如MySQL中进行数据归档;datax中间件用于在不同数据源之间进行数据移动和转换;S2:添加归档任务的配置信息;调用data-archive-tool数据归档工具服务的Rest接口传递上述配置信息,添加归档任务;S3:定时根据归档配置生成相应的归档任务执行脚本;判断配置信息是否满足执行条件,如果不满足,则提示异常,工程师修改所述配置信息直至满足执行条件;如果满足,提取配置信息中的具体信息,并生成归档任务执行脚本;S4:定时执行归档任务并记录执行结果;归档任务执行器根据事先设定的定时周期定期从data-archive-tool数据归档工具服务中获取待执行的归档任务执行脚本,归档任务执行器根据归档任务执行脚本生成脚本语句命令,data-archive-tool数据归档工具服务将生成的脚本语句命令写入到shell文件中,通过java程序执行shell文件,在执行shell文件的过程中调用中间件执行数据归档操作;执行完成后,中间件返回执行结果,所述执行结果包括执行成功与否、执行时间的信息;java程序将执行结果更新到对应的数据库中;数据归档操作完成后,将归档后的数据打包为归档文件;S5:将归档文件手动迁移到文件服务器中存储;将归档文件手动迁移到文件服务器上存储,并对迁移完成的数据进行数据清洗。

全文数据:

权利要求:

百度查询: 鱼快创领智能科技(南京)有限公司 一种多数据源临期数据归档的方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。