买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：交控科技股份有限公司

摘要：本发明提供一种基于大数据技术的实时与离线业务统一处理方法和装置，包括：将实时采集的业务数据写入KAFKA集群；基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据；对所述第一明细数据进行所述实时业务对应的分析处理，所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理。本发明提供的方法和装置，避免了部分数据重复接入处理的冗余计算，且只需要开发一套程序对实时分析挖掘和离线分析挖掘的数据进行统一接入处理，降低了分析挖掘功能的开发时间成本，且使得实时业务和离线业务的接入数据处理整合后的形式结构统一。

主权项：1.一种基于大数据技术的实时与离线业务统一处理方法，其特征在于，包括：将实时采集的业务数据写入KAFKA集群；基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据；所述离线业务范围包括当前存在的离线业务和将来可能会扩展出来的离线业务；对所述第一明细数据进行所述实时业务对应的分析处理，所述第二明细数据用于后续所述离线业务于预设时刻进行对应的分析处理；所述基于实时业务需求和离线业务范围对所述KAFKA集群中的数据进行处理整合，得到所述实时业务的第一明细数据和所述离线业务范围对应的第二明细数据，包括：基于实时业务需求和离线业务范围确定数据处理整合后的属性维度；基于所述属性维度对所述KAFKA集群中的数据进行抽取、转换和维度关联操作，得到处理整合后的明细数据；从所述明细数据中筛选出所述实时业务对应的第一明细数据，且从所述明细数据中筛选出所述离线业务范围对应的第二明细数据；其中，基于所述属性维度确定所述抽取操作的抽取条件，基于所述属性维度确定所述转换操作中目标数据对应的关联数据的类型，所述维度关联操作用于生成关联整合后的数据的视图表；所述基于所述属性维度对所述KAFKA集群中的数据进行抽取、转换和维度关联操作，得到处理整合后的明细数据，包括：基于预设Web流式平台上人工编写的目标脚本语句控制Flink计算框架对所述KAFKA集群中的数据进行抽取、转换和维度关联处理，得到处理整合后的明细数据；其中，所述目标脚本语句为包括所述抽取、转换和维度关联处理的指令的SQL语句，其被所述预设Web流式平台打包上传至所述Flink计算框架，以供所述Flink计算框架转换成Flink语句执行。

全文数据：

权利要求：

百度查询： 交控科技股份有限公司 基于大数据技术的实时与离线业务统一处理方法和装置