买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海大智慧财汇数据科技有限公司申请的专利基于Flink cdc的可配置式大数据导入方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119248866B 。

龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411794271.9，技术领域涉及：G06F16/25；该发明授权基于Flink cdc的可配置式大数据导入方法及系统是由冯卫强;赵雷;王瑞;周丽娟设计研发完成，并于2024-12-09向国家知识产权局提交的专利申请。

本基于Flink cdc的可配置式大数据导入方法及系统在说明书摘要公布了：本发明提供了一种基于Flinkcdc的可配置式大数据导入方法及系统，涉及数据同步技术领域，包括：步骤S1：对于系统新增的导入任务，设置配置信息，进行任务导入的流程配置；步骤S2：用户Flink程序根据步骤S1中的配置信息生成可执行的用户程序代码，提交到Flink集群上执行用户程序；步骤S3：Flink集群内部根据指定的执行类调用用户程序代码执行，完成数据的导入操作。本发明能够提升系统的灵活性和扩展性，并提高数据处理能力。

本发明授权基于Flink cdc的可配置式大数据导入方法及系统在权利要求书中公布了：1.一种基于Flinkcdc的可配置式大数据导入方法，其特征在于，包括：步骤S1：对于系统新增的导入任务，设置配置信息，进行任务导入的流程配置；步骤S2：用户Flink程序根据步骤S1中的配置信息生成可执行的用户程序代码，提交到Flink集群上执行用户程序；步骤S3：Flink集群内部根据指定的执行类调用用户程序代码执行，完成数据的导入操作；其中，所述步骤S3先读取并解析任务导入流程配置信息，验证任务流程配置是否正确，然后进行数据实时采集，解析、组装并返回数据，再对数据进行过滤和逻辑处理，最后将处理后的数据下沉到指定存储介质，并进行作业流程的异常处理；所述步骤S1包括：步骤S1.1：配置主任务取值逻辑，具体包括：主表数据源连接配置、主表取值逻辑配置、主表过滤条件配置、主表数据处理逻辑配置、自定义窗口配置以及目标数据库配置；步骤S1.2：配置子表取值逻辑，包括：子表数据源配置、与主表的映射字段配置、数据组装配置以及子表取值SQL配置，此外，还配置了与主任务配置表的关联ID，通过主任务ID能够查询对应子表的取值逻辑配置信息；步骤S1.3：上述步骤S1.2流程中如果配置了子表的取值逻辑，并且如果子表发生了变更，结果数据若也需变更，则需要在子表动态监听表中配置子表的增量动态监听，包括：子表数据源配置、子表名称、监听字段以及关联字段配置，此外，还配置了与主任务配置表的关联ID，通过主任务ID能够查询对应子表的监听配置信息；步骤S1.4：配置任务组，包括组ID和任务ID配置；其中，组ID配置：在任务组配置表中配置组ID，用于作业启动的入参，根据组ID去查找对应的任务配置列表；任务ID配置：在任务组配置表中该组下的任务ID，规定一个导入需求下的所有任务配置在一个组中；步骤S3具体包括：步骤S3.1：校验配置信息，若正确，执行步骤S3.2；若不正确，直接抛出异常，将详细报错信息打印在日志文件中；异常重试指定次数失败后，Flink作业直接停止；步骤S3.2：获取Source数据源配置，构建Source，连接到指定的数据源，进行数据的实时采集；步骤S3.3：获取Source的配置信息，构建FlatMap，进行数据的解析、组装并返回；步骤S3.4：如果任务配置了过滤条件表达式，构建Filter算子，对Source数据流过滤处理；步骤S3.5：获取配置的窗口参数，通过实现Flink内部的抽象类和接口构建keyBy、window、trigger算子，生成自定义窗口；步骤S3.6：获取数据逻辑处理配置，包含子表的取值逻辑配置以及主表的数据处理逻辑配置，通过实现Flink内部ProcessWindowFunction抽象类构建processFunction函数，在窗口函数内对数据进行逻辑处理；步骤S3.7：获取Sink相关配置信息，构建Sink，连接Sink数据源，将处理后的数据下沉到指定存储介质；步骤S3.8：进行作业流程异常处理；在Flink作业构建过程中，对每个流程进行异常捕获；如果当前流程构建异常，则针对当前异常先进行异常捕获，获取发生异常流程位置以及异常详细信息再抛出异常；步骤S3.9：job运行异常重试；步骤S3.8中用户程序发生异常会继续抛出造成整个FlinkJob运行异常，当FlinkJob异常时，触发异常重试机制；Flink程序提交过程中指定Job运行操作重试策略，通过setRestartStrategy方法指定，包括：固定间隔重启策略、故障失败率重启策略、无重启，默认为固定间隔重启策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海大智慧财汇数据科技有限公司，其通讯地址为：201203 上海市浦东新区中国(上海)自由贸易试验区郭守敬路498号12幢21501-21507室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。