买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国平安人寿保险股份有限公司
摘要:本发明涉及大数据技术,提供了实时计算结果的离线校正方法、系统、设备及介质,方法包括先将待处理数据基于实时处理层进行运算得到实时计算结果并存储在HBase数据库服务器中,若确定当前系统时间与实时计算结果的获取时间之间的日期间隔等于预设的日期阈值,且确定当前系统时间满足批处理层对应预设的计算启动条件,获取待处理数据,通过批处理层对待处理数据进行对应的运算,得到离线计算结果,获取实时计算结果在HBase数据库服务器中的目标列数,将离线计算结果根据目标列数存储在HBase数据库服务器中对应列。实现了将由于网络波动等原因出现异常的历史实时数据被校正,而又不影响当前实时数据的写入,提高了实时数据的正确性。
主权项:1.一种实时计算结果的离线校正方法,其特征在于,包括:第一服务器响应于数据计算指令,获取与所述数据计算指令对应的待处理数据;通过所述第一服务器中实时处理层对所述待处理数据进行对应的运算,得到实时计算结果,并由所述第一服务器将待处理数据发送至第二服务器的批处理层中;HBase数据库服务器接收并存储所述实时计算结果;其中,所述HBase数据库服务器中每一列数据均存储有预设版本个数的计算结果,且所述预设版本个数大于或等于2;所述HBase数据库服务器接收并存储所述实时计算结果,包括:所述HBase数据库服务器获取所述实时计算结果的第一获取时间戳,将所述第一获取时间戳作为所述实时计算结果的第一版本号并与所述实时计算结果存储于HBase数据库服务器中;若所述第二服务器确定当前系统时间与所述实时计算结果的获取时间之间的日期间隔等于预设的日期阈值,且确定当前系统时间满足批处理层对应预设的计算启动条件,获取所述待处理数据;所述若所述第二服务器确定当前系统时间与所述实时计算结果的获取时间之间的日期间隔等于预设的日期阈值,且确定当前系统时间满足批处理层对应预设的计算启动条件,获取所述待处理数据之前,还包括:所述第二服务器获取批处理层中与所述第一获取时间戳对应日期的第一全量数据;所述第二服务器获取批处理层中与所述第一获取时间戳对应日期前一日的第二全量数据;所述第二服务器获取所述第一全量数据与所述第二全量数据之间的差异数据,将所述差异数据存储至批处理层中的数据集市层;通过所述第二服务器的批处理层对所述待处理数据进行对应的运算,得到离线计算结果;以及所述HBase数据库服务器获取所述实时计算结果的目标列数,将所述离线计算结果根据所述目标列数存储在HBase数据库服务器中对应列数;所述通过所述第二服务器的批处理层对所述待处理数据进行对应的运算,得到离线计算结果之后,还包括:所述第二服务器获取所述离线计算结果的第二获取时间戳,将所述第二获取时间戳根据预设时间戳调整策略进行调整,以更新第二获取时间戳;所述时间戳调整策略用于将待处理获取时间戳对应日期减一且将待处理获取时间戳对应时间置为第一预设时间。
全文数据:
权利要求:
百度查询: 中国平安人寿保险股份有限公司 实时计算结果的离线校正方法、系统、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。