首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于数据采集的多策略断点续传系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京庚顿数据科技有限公司

摘要:本发明提供一种基于数据采集的多策略断点续传系统,利用系统中缓存区、压力检测模块、策略切换模块的多次反馈,可以顺利地做到在断点续传过程中实时优先模式、历史优先模式、正常模式这三者的顺畅切换,从而从容应对服务器断连的异常状况,且在此过程中通过反馈充分避免了系统中实时数据的枯竭以及历史数据的饱和此类异常状况。

主权项:1.一种基于数据采集的多策略断点续传系统,其特征在于,该系统包括采集线程、联合缓存区域、实时数据转发线程、历史数据转发线程、压力检测模块、策略切换模块,其中,联合缓存区域包括内存缓存区和文件缓存区,在正常模式中,采集线程采集来自数据源的原始数据,将该原始数据写入内存缓存区,策略切换模块向联合缓存区域发送实时传输指令来命令内存缓存区将原始数据转发至实时数据转发线程,并由实时数据转发线程将原始数据作为实时数据经压力检测模块和策略切换模块转发至数据库,一旦该系统与数据库断连,则采集线程按照特定时间频率向数据库发起间歇性自动重连,在每相邻两次的间歇性自动重连之间的断连期间,采集线程依然不断从数据源采集原始数据,这些原始数据依然由采集线程写入内存缓存区形成实时更新的实时数据队列,内存缓存区中的原始数据也不断写入文件缓存区形成实时扩充的历史数据队列,一旦该系统与数据库恢复连接,则内存缓存区停止向文件缓存区传送实时数据,历史数据队列停止更新,策略切换模块向联合缓存区域发送“实时优先指令”,该系统进入“实时优先模式”,内存缓存区将实时数据队列中的实时数据由实时数据转发线程经由压力检测模块再经由策略切换模块转发至数据库中,一旦压力检测模块检测发现实时数据队列中的数据使用率小于第一特定比例,则压力检测模块再检测文件缓存区中历史数据队列的数据使用率,一旦压力检测模块检测发现历史数据队列中的数据使用率大于第二特定比例,策略切换模块向联合缓存区域发送“历史优先指令”,该系统从“实时优先模式”切换至“历史优先模式”,在“历史优先模式”中,文件缓存区将历史数据队列中的历史数据由历史数据转发线程经由压力检测模块再经过策略切换模块转发至数据库中。

全文数据:

权利要求:

百度查询: 北京庚顿数据科技有限公司 基于数据采集的多策略断点续传系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。