买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军军事科学院系统工程研究院

摘要：本发明提出一种异构数据智能清洗方法与系统，属于数据处理技术领域。所述方法基于异构数据清洗系统对异构数据进行清洗来提取异构数据的有效信息和关联信息，从而构建开源组件的知识图。调用模板管理模块，获取用于进行数据提取的定制化模板。调用信息提取模块，利用定制化模板从异构数据中提取出数据结构化信息，并基于数据结构化信息生成实体树和元信息，元信息作为有效信息。调用信息关联模块，从异构信息中提取出关联信息以形成证据树，基于证据树和实体树构建开源组件的知识图。调用持久化模块，将元信息存储至Mysql数据库，将开源组件的知识图形成graphSql文件并存储至Neo4j数据库。

主权项：1.一种异构数据智能清洗方法，其特征在于：所述方法基于异构数据清洗系统对异构数据进行清洗来提取所述异构数据的有效信息和关联信息，从而构建开源组件的知识图；所述异构数据清洗系统包括模板管理模块、信息提取模块、信息关联模块和持久化模块；所述方法具体包括：步骤S1、调用所述模板管理模块，获取用于进行数据提取的基础模板，根据异构数据的数据源类型调整所述基础模板，得到所述异构数据的定制化模板；步骤S2、调用所述信息提取模块，利用所述定制化模板从所述异构数据中提取出数据结构化信息，并基于所述数据结构化信息生成实体树和元信息，所述元信息作为所述有效信息；其中，在所述步骤S2中，基于所述数据结构化信息生成的所述实体树的类型包括软件树、漏洞树和许可证树；其中：所述软件树的格式为：pkg-类型-名称-版本；其中，pkg为固定值，表示软件树，类型为包的类型，名称为包的名称，版本为包的版本；所述漏洞树的格式为：来源-ID；其中，来源表示漏洞的来源信息，ID表示漏洞编号；所述许可证树的格式为：类型-名称；其中，类型表示许可证的类型，名称表示许可证版本；步骤S3、调用所述信息关联模块，从所述异构数据中提取出所述关联信息以形成证据树，基于所述证据树和所述实体树构建所述开源组件的知识图；其中，在所述步骤S3中：所述证据树以所述关联信息为依据来表示实体之间的关系，将不同实体树关联起来，形成所述开源组件的知识图；所述证据树的格式为：来源节点-证据节点-目标节点；其中，来源节点为所述软件树的版本节点、所述漏洞树的版本节点或所述许可证树的名称节点，证据节点表示实体之间的关联关系，目标节点表示所述软件树的版本节点；步骤S4、调用所述持久化模块，将所述元信息存储至Mysql数据库，将所述开源组件的知识图形成graphSql文件并存储至Neo4j数据库；其中，所述异构数据包括所述开源组件的组件信息、漏洞信息和版本信息。

全文数据：

权利要求：

百度查询： 中国人民解放军军事科学院系统工程研究院 一种异构数据智能清洗方法与系统