买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:福建省金服云征信有限责任公司
摘要:本发明公开了一种基于数据治理的高质量数据管理系统,具体涉及数据治理领域,包括业务数据采集模块、业务数据转换模块、数据资源整合模块、数据质量基础评估模块、综合数据质量评估指标计算模块、数据质量判断模块、数据治理报告输出模块、数据库,以及处理器。一种基于数据治理的高质量数据管理系统通过对各种数据类型制定统一的数据格式标准,并整合目标业务领域的现有数据集与数据来源,有效管理多源异构的数据;通过分析并基于各得分函数值计算综合数据质量评估指标,从而应对数据质量参差不齐的问题;通过建立数据质量监控机制,定期调整、检查和评估阈值范围,及时发现和处理新出现的数据质量问题,提高数据的可靠性和价值。
主权项:1.一种基于数据治理的高质量数据管理系统,其特征在于,包括:业务数据采集模块:用于从不同的业务数据源中采集多种数据格式的数据,并将采集的数据封装成数据集传输至业务数据转换模块;业务数据转换模块:用于对传输的数据集进行预处理,使用条件过滤和正则表达式匹配方法对各数据集中的数据转换成统一格式的目标业务领域的现有数据集,并传输到数据资源整合模块;数据资源整合模块:用于整合目标业务领域的现有数据集与数据来源,并按数据性质及用途进行分类,选择合适的存储技术存储经过分类的数据集,并将不同存储技术中的数据集发送至数据质量基础评估模块;数据质量基础评估模块:用于分析传输的数据集并计算出一致性得分函数值、准确性得分函数值、完整性得分函数值,以及时效性得分函数值,传输到综合数据质量评估指标计算模块;综合数据质量评估指标计算模块:基于一致性得分函数值、准确性得分函数值、完整性得分函数值,以及时效性得分函数值计算综合数据质量评估指标;数据质量判断模块:用于判断和监控数据的质量,监测数据质量问题并触发数据迭代策略;数据治理报告输出模块:用于将处理和分析后的数据通过数据可视化工具以报告的格式输出给用户,从而快速做出数据治理决策;数据库:用于存储高质量的数据、存储指令以及管理采集的数据,提供数据的检索和更新功能;处理器:用于执行所述数据库中存储的指令。
全文数据:
权利要求:
百度查询: 福建省金服云征信有限责任公司 一种基于数据治理的高质量数据管理系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。