买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:四川农村商业联合银行股份有限公司
摘要:本发明涉及数据处理技术领域,公开了一种数据文件归档方法和系统。包括以下步骤:建立流式数据处理平台、配置归档信息;在流式数据处理平台上扫描待归档数据文件并映射成为对应的data文件、check文件和ddl文件,在数据库表中添加待归档数据文件记录;实时地读取数据库表,出现新的待归档数据文件记录时,读取所述新的待归档数据文件,记录对应的归档信息;将归档信息中的文件名与新的待归档数据文件记录对应的数据文件的文件名进行比较,若相同则将新的待归档数据文件记录对应的数据文件进行归档存入存储介质中,否则报错。本发明可实现历史数据归档全流程自动化,避免人为操作干扰和数据大量堆积导致归档时间长和数据延迟问题。
主权项:1.一种数据文件归档方法,其特征在于,包括以下步骤:在数据中心或云平台上建立流式数据处理平台;为指定目录下的每一个待归档数据文件配置归档信息;所述归档信息包括:归档目标类型、归档生命周期、归档条件、文件名和存储介质;在所述流式数据处理平台上执行以下步骤:扫描所述指定目录下的所有待归档数据文件;将扫描到的每一个待归档数据文件映射成为对应的data文件、check文件和ddl文件,并在数据库表中添加对应的待归档数据文件记录;所述待归档数据文件记录中包含data文件的路径信息、check文件的路径信息和ddl文件的路径信息;实时地读取所述数据库表,当所述数据库表中出现新的待归档数据文件记录时,执行步骤S1和步骤S2;其中,步骤S1:读取所述新的待归档数据文件,记录对应的归档信息;步骤S2:根据归档信息中的归档条件将所述归档信息中的文件名与所述新的待归档数据文件记录对应的数据文件的文件名进行比较,若相同则将所述新的待归档数据文件记录对应的数据文件进行归档存入所述存储介质中;若不同则报错,并将报错记录到日志中。
全文数据:
权利要求:
百度查询: 四川农村商业联合银行股份有限公司 一种数据文件归档方法和系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。