恭喜朗坤智慧科技股份有限公司袁存发获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜朗坤智慧科技股份有限公司申请的专利一种自动化元数据管理方法、系统、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119396919B 。
龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510014520.6,技术领域涉及:G06F16/25;该发明授权一种自动化元数据管理方法、系统、设备及存储介质是由袁存发;张海东;郑豹;张强;何招亮;江家杰;岳希沛设计研发完成,并于2025-01-06向国家知识产权局提交的专利申请。
本一种自动化元数据管理方法、系统、设备及存储介质在说明书摘要公布了:本发明公开了一种自动化元数据管理方法、系统、设备和存储介质,涉及数据治理、元数据管理技术领域,包括系统对不同数据源进行适配,通过数据源配置自动连接数据库,根据元模型和采集任务配置,将与元模型匹配的元数据自动采集到元数据库中;定义元模型库自动从数据库中采集元模型的当前元数据信息,并校验采集的元数据是否需要入库和升版;通过关联元数据库中的表和字段进行数据采集,配置过滤条件后使用数据开发组件和将数据自动采集数据仓库并进行开发,自动构建血缘关系。本发明减少人工干预,提高元数据管理的效率,确保元数据的一致性和准确性,建立元数据表的血缘关系,清晰展示数据在不同表间的流转和依赖关系,方便数据的管理和追溯。
本发明授权一种自动化元数据管理方法、系统、设备及存储介质在权利要求书中公布了:1.一种自动化元数据管理方法,其特征在于:包括,进行数据源适配并连接数据库,采集与元模型匹配的元数据;定义元模型库,通过数据库中采集元模型的当前元数据信息;校验采集的元数据是否需要入库和升版;将数据自动采集数据仓库进行数据开发;获取用户指定的指标信息构建血缘关系,预测依赖关系;所述构建血缘关系,包括,在数据仓库中进行数据开发的过程中,建立元数据表及字段之间的血缘关系,使用SpringAOP拦截SQL执行语句,并将拦截的SQL语句推送到Kafka消息队列,自动识别数据血缘关系;将拦截到的sql进行筛选获取查询语句,解析SQL查询语句,提取表名、列名、操作类型和条件,生成词法单元,将解析后的词法单元转为向量表示为:vw=embeddingw其中,vw是词w的向量表示,构建输入序列;构建LSTM模型,包括遗忘层、输入层、LSTM层和输出层;通过历史SQL查询和日志数据中提取已知依赖关系作为训练数据,计算输出并使用交叉熵损失函数计算误差loss:loss=-∑yilogPi通过反向传播算法计算梯度: 使用Adam优化器更新模型参数,最小化损失函数a: 其中,yi为第i个元数据的真实标签,Pi为第i个元数据的预测概率输出,η是学习率,i为变量索引;将新的SQL查询或日志数据转换为向量序列,输入到训练好的LSTM模型中;将LSTM模型输出门的值作为输入值预测数据实体之间的依赖关系,构建数据血缘关系图;根据数据血缘关系图将构建的数据血缘关系存储到Neo4j图数据库中,包括表、字段、操作类型;所述预测依赖关系,包括,通过三阶段依赖模型进行依赖关系的判断;输入模型的第一阶段,计算数据间的相似性S: 其中,xi和xj表示第i个和第j个数据实体,ε为相似性的缩放因子,控制距离对于相似性的影响程度;∥di-dj∥表示数据对象di和dj特征向量的欧几里得距离,p距离计算中的幂次参数,ζ为特征贡献的权重,决定元数据对相似性计算的影响,U为数据实体的总量,i和j为变量索引;在得到相似性S后,将LSTM模型输出门的值作为输入值进行第二阶段的时间动态建模Dijt,将动态依赖关系Dijt进行整合,生成第三阶段全局依赖关系矩阵E: 其中,E表示所有数据实体之间的依赖关系,F为归一化因子,确保矩阵的值在[0,1]的范围内;I为指标函数,当条件成立时返回值为1,否则为0;Sy为相似性阈值,决定被认为是相关的实体;Dijt表示时间t时刻下xi和xj之间的动态依赖关系;当E>0.75时,存在依赖关系,当E≤0.75时,不存在依赖关系。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人朗坤智慧科技股份有限公司,其通讯地址为:210005 江苏省南京市鼓楼区汉中路2号亚太商务楼31层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。