龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明提供一种分布式数据回传方法及装置、介质、设备。该方法包括：通过数据采集服务采集模型数据并保存到数据库中；通过数据推送服务根据定时任务执行信息生成数据推送任务，将数据推送任务添加到线程队列中，将数据表信息添加到阻塞队列中；通过线程池中的至少一个线程并行执行线程队列中的至少一个数据推送任务；根据每一个线程取出的数据表信息，获取数据库中对应的数据表；通过数据推送服务确定增量数据，将增量数据进行封装，得到推送消息，将推送消息发送至Kafka集群中；通过数据接收服务从Kafka集群中拉取推送消息，将增量数据保存到数据湖中，向Kafka集群提交拉取偏移量。本发明实施例提供了一种高效、可靠、安全的模型数据回传方案。
主权项：1.一种分布式数据回传方法，其特征在于，包括：通过数据采集服务采集大模型产生的模型数据，并将所述模型数据保存到与所述数据采集服务连接的数据库中；其中，所述数据库为分布式云中心的本地数据库；通过数据推送服务根据预先配置的定时任务执行信息，生成数据推送任务，将所述数据推送任务添加到线程池的线程队列中，将所述模型数据在所述数据库中的数据表信息添加到阻塞队列中；通过所述线程池中的至少一个线程并行执行所述线程队列中的至少一个数据推送任务，每一个线程负责将所述阻塞队列中对应的数据表信息取出；通过所述数据推送服务建立与所述数据库之间的连接通道，根据每一个线程取出的数据表信息，通过该连接通道获取所述数据库中对应的数据表，并关闭所述连接通道；通过所述数据推送服务确定所述数据表中的增量数据，将所述增量数据进行封装，得到推送消息，并将所述推送消息发送至Kafka集群中；通过订阅相应主题的数据接收服务从所述Kafka集群中拉取所述推送消息，将拉取到的所述推送消息中的增量数据保存到数据湖中，并向所述Kafka集群提交自己的拉取偏移量。
全文数据：
权利要求：
百度查询： 浪潮云信息技术股份公司 分布式数据回传方法及装置、介质、设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号