龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：支付宝(杭州)信息技术有限公司
申请日：2021-11-18
公开（公告）日：2024-06-28
公开（公告）号：CN114116162B
主分类号：G06F9/48
分类号：G06F9/48;G06F9/54;G06F16/2455
优先权：
专利状态码：有效-授权
法律状态：2024.06.28#授权;2022.03.18#实质审查的生效;2022.03.01#公开
摘要：本说明书提供的数据处理方法、系统及非暂时性存储介质，将实时计算的流任务处理逻辑与批任务处理逻辑相结合，既能使用流任务处理逻辑实时计算在线消息队列中当前时间周期的累计数据，同时又能使用了批任务处理逻辑计算离线数据库中多个历史时间周期的历史数据来补充所需的时间窗口中的数据，并将两部分数据合并后产生累计数据提供给用户使用，既避免了离线数据清洗中缺少当前时间周期的实时数据导致的数据时效性不足的问题，又克服了实时流任务处理逻辑中需要累计运行所需时间窗口长度的时间才能得到完整数据的问题。
主权项：1.一种数据处理方法，包括：接收数据处理请求，所述数据处理请求包括对目标时间窗口内的目标数据进行数据处理的请求；基于离线数据库以及在线消息队列确定目标分割点，包括基于所述离线数据库对应的时间窗口以及所述目标时间窗口的交集，确定所述离线数据库对应的第一时间范围，基于所述在线消息队列对应的时间窗口以及所述目标时间窗口的交集，确定所述在线消息队列对应的第二时间范围，基于所述第一时间范围和所述第二时间范围的交集，确定第三时间范围，以及从所述第三时间范围中选择一个时间点作为所述目标分割点，所述目标分割点将所述目标时间窗口分为所述目标分割点前的第一时间窗口和所述目标分割点后的第二时间窗口；基于批任务处理逻辑，对所述离线数据库中所述第一时间窗口对应的第一数据进行所述数据处理，得到第一结果，所述目标数据包括所述第一数据；基于流任务处理逻辑，对所述在线消息队列中所述第二时间窗口对应的第二数据进行所述数据处理，得到第二结果，所述目标数据包括所述第二数据；以及将所述第一结果和所述第二结果合并，得到目标结果并输出。
全文数据：
权利要求：
百度查询： 支付宝(杭州)信息技术有限公司 数据处理方法、系统及非暂时性存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号