首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种大数据统计收集用的高效储存系统 

申请/专利权人:桂林理工大学

申请日:2024-02-27

公开(公告)日:2024-05-03

公开(公告)号:CN117971129A

主分类号:G06F3/06

分类号:G06F3/06;G06F11/14;G06F21/60;G06F21/62

优先权:

专利状态码:在审-公开

法律状态:2024.05.03#公开

摘要:本发明公开了一种大数据统计收集用的高效储存系统,包括:数据采集系统:负责从各种数据源实时或批量采集数据;存储系统:用于数据存储;查询和分析系统:提供数据查询和高级数据分析功能;用户界面系统:提供一个友好的用户界面,允许用户查询、分析和可视化数据;元数据管理系统:负责管理数据的元数据信息;本发明中,存储模块采用分布式存储架构,将数据分散存储在多个节点上,提高了存储的扩展性和容错性,负载均衡模块提供自适应负载均衡功能确保了数据均匀分布在各个存储节点上,避免了性能瓶颈,数据压缩模块使用LZW对输入数据进行处理,通过构建和更新字典,将重复出现的短语用编码表示,将数据压缩,减少存储空间占用,提高存储效率。

主权项:1.一种大数据统计收集用的高效储存系统,其特征在于,包括:数据采集系统:负责从各种数据源实时或批量采集数据;存储系统:用于数据存储;查询和分析系统:提供数据查询和高级数据分析功能;用户界面系统:提供一个友好的用户界面,允许用户查询、分析和可视化数据;元数据管理系统:负责管理数据的元数据信息;安全与隐私系统:确保数据的安全性和隐私保护;监控与管理系统:提供系统的监控、告警和自动化的管理功能;接口与集成系统:提供与其他系统或服务的集成能力;所述数据采集系统从外部数据源抓取数据,并将其发送到存储系统进行持久化存储,用户通过用户界面系统发起查询请求,该请求被转发到查询和分析系统进行处理,所述存储系统采用分布式存储架构,所述存储系统将数据分散存储在多个节点上,各个节点之间通过网络进行数据传输和同步,所述查询和分析系统从存储系统中读取数据,进行查询和分析操作,并将结果返回给用户界面系统展示给用户,所述元数据管理系统维护数据的元数据信息,为其他系统提供关于数据的结构和属性的信息,所述安全与隐私系统确保整个系统的安全和隐私保护,对所有数据访问进行身份认证和访问控制。

全文数据:

权利要求:

百度查询: 桂林理工大学 一种大数据统计收集用的高效储存系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。