龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：电科云(北京)科技有限公司
摘要：本发明提供一种基于异构源的动态抽取转换加载方法、系统和存储介质，数据集成服务单元根据抽取转换加载任务数据动态构建对应的代理服务单元，利用代理服务单元监控对应的源端数据库，对于源端数据库中的小量级的数据内容直接采用代理服务单元完成数据采集和数据转换，对于大量级的数据内容则通过数据集成服务单元执行数据采集和数据转换；将处理后的源端数据库中的数据内容统一转换为目的端数据库的标准化数据，将标准化数据加载至对应的目的端数据库中。本发明可以实现基于异构源的抽取转换加载任务，根据数据量级灵活调整抽取转换加载方式，降低服务单元器负载、提高数据转换性能，为不同类型的数据库构建场景下的抽取转换加载提供支撑。
主权项：1.一种基于异构源的动态抽取转换加载方法，其特征在于，包括以下步骤：通过数据集成服务单元接收并解析用户配置的抽取转换加载任务数据；其中，所述数据集成服务单元包括大数据并行处理模块和数据管理模块，所述抽取转换加载任务数据包括源端数据库类型和目的端数据库类型；根据所述源端数据库类型由所述数据集成服务单元动态构建对应的代理服务单元，并将代理服务单元下发至源端；由所述代理服务单元监听对应的源端数据库，根据用户配置的抽取转换加载任务数据获取源端数据库表配置参数；若该源端数据库中的数据内容为小量级数据，则利用所述代理服务单元对该源端数据库中的数据内容进行数据抽取和数据转换，并将处理后的源端数据库中的数据内容发送至所述数据管理模块；若该源端数据库中的数据内容为大量级数据或流式数据，则由所述代理服务单元通知所述数据集成服务单元，利用所述大数据并行处理模块对该源端数据库中的数据内容进行数据抽取和数据转换，并将处理后的源端数据库中的数据内容发送至所述数据管理模块；所述数据管理模块执行数据加载，根据所述目的端数据库类型将接收到的处理后的源端数据库中的数据内容转换成所述目的端数据库类型对应的标准化数据，并将所述标准化数据插入至对应的目的端数据表。
全文数据：
权利要求：
百度查询： 电科云(北京)科技有限公司 基于异构源的动态抽取转换加载方法、系统和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号