首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种redis集群模式下海量数据Hash分片存储及高可用系统的设计方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:海纳致远数字科技(上海)有限公司

摘要:本发明公开了一种redis集群模式下海量数据Hash分片存储及高可用系统的设计方法:步骤1、依据要存储数据的总的字节数部署一个相等容量的redis集群;步骤2、将要存储的数据按逻辑表概念的维度分类;步骤3、将逻辑表中的数据按RowKey‑Value格式规则设计,Value为最终存储数据;步骤4、对Rowkey做hash计算并对16384取余得到余数,利用逻辑表表名加余数做为redis的Hash数据结构的Key值;步骤5、将逻辑表的RowKey做为redis的Hash数据结构的field值,逻辑表的Rowkey对应的Value做为Hash数据结构的value值;步骤6、部署一个同等规模和容量的redis集群,做为备用集群,写入相同数据;7、构建一个负载均衡系统做为访问两个redis集群的入口。

主权项:1.一种redis集群模式下海量数据Hash分片存储及高可用系统的设计方法,其特征在于,具体步骤如下:步骤1、依据要存储的数据总量计算出数据量大小,根据得到的数据量按redis集群中每个redis结点容量20G的标准计算出整个redis集群的规模,采用1主1从集群模式部署一个redis集群;步骤2、分析将要存储的数据结构,将其拆分成由行和列所组成的表结构的数据,所述表是按集合维度对数据的归类,所述列按数据的属性进行分类;步骤3、将步骤2所得的表结构的数据再聚合成两列,一列为每行数据的唯一标识,一列是属性的聚合,格式为json格式或者csv格式,其中第一列为值唯一的Rowkey,第二列是真正要存储的数据Value;步骤4、给步骤3所得的逻辑表取一个唯一的带有业务标识的容易辨别的表名,将Rowkey做Hash计算并用16384取余得到余数,将表名拼接余数后的完整字符串值做为redisHash数据结构的key值;步骤5、将步骤4所得的逻辑表每一行的Rowkey值做为其对应的Hashkey的field值,将步骤3中存储为csv格式或json格式的Value数据作为Hashkey的value值;步骤6、再部署一个同等规模和容量的redis集群,做为备用集群,每次往redis集群写入数据时,两个redis集群都同时写入相同的数据;步骤7、构建一个负载均衡系统做为访问两个redis集群的客户端,该客户端能够对读取请求分流,能够在读取一个集群失败后自动切换到另外一个集群继续请求。

全文数据:

权利要求:

百度查询: 海纳致远数字科技(上海)有限公司 一种redis集群模式下海量数据Hash分片存储及高可用系统的设计方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。