龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明属于数据仓库技术领域，具体公开了基于Flink和StarRocks的实时数据分析处理方法、系统及存储介质，通过Flink进行流式业务数据的解析处理，并基于FlinkSQL语句进行流表数据与相应维表数据的聚合关联，再将聚合后的数据入库到StarRocks中，最后根据前端的查询需求对相应任务处理过程及StarRocks库数据进行可视化分析展示，可以实现更简单、高效、精准的多源业务数据实时关联分析处理。本发明基于开源的Flink和StarRocks进行实时数据分析处理，可以有效的降低实时数据开发的准入门槛，降低维护成本、服务器成本以及技术和运维复杂度，保证数据的采集时效性和准确性，提供急速稳定的分析查询能力，适用于各种业务分析场景。
主权项：1.基于Flink和StarRocks的实时数据分析处理方法，其特征在于，包括：采集上游的业务原始数据，并将采集到的业务原始数据存储到Kafka消息队列中；采用Flink对消息队列中的业务原始数据进行流式数据解析，得到实时明细数据，并将实时明细数据存储到Kafka消息队列中；获取流任务平台的实时任务，所述实时任务包含若干第一FlinkSQL语句；根据实时任务在StarRocks数据库中创建第一明细表、第一临时表、第一维度表和第一结果表，将Kafka消息队列中的实时明细数据实时的写入第一明细表，并将第一明细表中的实时明细数据根据设定的分类指标实时汇总到第一临时表中，得到汇总后的第一临时表，所述第一维度表中包含设定的第一维度数据；根据实时任务将汇总后的第一临时表与第一维度表进行关联聚合，得到关联聚合后的第一结果数据；根据实时任务将关联聚合后的第一结果数据写入第一结果表中；获取前端的第一查询指令，根据第一查询指令对实时任务的执行情况以及第一结果表中写入的第一结果数据进行可视化分析展示。
全文数据：
权利要求：
百度查询： 重庆海创云链数字科技有限公司 基于Flink和StarRocks的实时数据分析处理方法、系统及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号