买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:海纳云物联科技有限公司;青岛海纳云智能系统有限公司
摘要:本申请属于数据处理技术领域,具体涉及一种数据流批处理方法、装置、设备和计算机存储介质,通过获取物联网设备实时数据,对物联网设备实时数据进行标准化处理,得到标准化处理的物联网设备实时数据,将标准化处理的物联网设备实时数据发送至kafka消息队列中,并采用流式处理计算框架消费所述kafka消息队列中的数据,得到第一消费数据,对第一消费数据进行分析处理,得到分析数据,并将分析数据重新写回到kafka消息队列,得到新的kafka消息队列,基于规则库中的配置信息,采用批处理计算框架消费新的kafka消息队列中的数据,得到第二消费数据,将第二消费数据写入列式分布式数据库;该方法提高了数据处理系统处理数据的智能化程度和决策效率。
主权项:1.一种数据流批处理方法,其特征在于,所述方法包括:获取物联网设备实时数据,对所述物联网设备实时数据进行标准化处理,得到标准化处理的物联网设备实时数据;将所述标准化处理的物联网设备实时数据发送至kafka消息队列中,并采用流式处理计算框架消费所述kafka消息队列中的数据,得到第一消费数据;对所述第一消费数据进行分析处理,得到分析数据,并将所述分析数据重新写回到所述kafka消息队列,得到新的kafka消息队列;基于规则库中的配置信息,采用批处理计算框架消费所述新的kafka消息队列中的数据,得到第二消费数据,将所述第二消费数据写入列式分布式数据库。
全文数据:
权利要求:
百度查询: 海纳云物联科技有限公司 青岛海纳云智能系统有限公司 数据流批处理方法、装置、设备和计算机存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。