买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州浪潮智能科技有限公司

摘要：本发明提供一种基于AEP内存的HBase集群性能优化方法及系统，均能够：采用分层聚类算法对Hbase集群的HBase任务进行聚类，得到一组任务分组；获取HBase集群的可用内存；获取HBase集群的当前内存资源状态；依据用户自定义的内存刷写规则和获取的当前内存资源状态,按照分层聚类输出的任务分组，为每一个任务分组中的HBase任务进行内存配额；依据内存配额对HBase任务进行分发和执行；所述用户自定义的内存刷写规则，包括在对每一个任务分组中的HBase任务进行内存配额时：对分组中的HBase任务逐个进行内存配额，并优先为任务分组内支持AEP的HBase任务分配足够的内存且优先分配AEP内存,之后为不支持AEP的HBase任务分配内存且优先分配普通内存。本发明用于提升HBase集群性能。

主权项：1.一种基于AEP内存的HBase集群性能优化方法，其特征在于，包括步骤：根据用户自定义的分层聚类原则，采用分层聚类算法对Hbase集群的HBase任务进行聚类，得到一组任务分组；获取HBase集群的可用内存，HBase集群的内存包括AEP内存和普通内存;获取HBase集群的当前内存资源状态；依据用户自定义的内存刷写规则和获取的当前内存资源状态,按照分层聚类输出的任务分组，为每一个任务分组中的HBase任务进行内存配额；依据内存配额，对HBase任务进行分发和执行；所述用户自定义的内存刷写规则，包括在对每一个任务分组中的HBase任务进行内存配额时：对分组中的HBase任务逐个进行内存配额，并优先为任务分组内支持AEP的HBase任务分配足够的内存且优先分配AEP内存,之后为不支持AEP的HBase任务分配内存且优先分配普通内存；用户自定义的分层聚类原则，包括1级分层聚类原则、2级分层聚类原则、...、N级分层聚类原则，N为正整数，其中：1级分层聚类原则，是依据用户自定义的第1类聚类基准进行聚类；2级分层聚类原则，是依据用户自定义的第2类聚类基准进行聚类；依此类推，N级分层聚类原则是依据用户自定义的第N类聚类基准进行聚类；N=2；1级分层聚类原则，是依据用户自定义的HBase任务的任务优先级、任务类型和冷热数据类型的组合方式进行聚类；2级分层聚类原则，是依据HBase任务的AEP直访模式、AEP内存模式和普通内存模式，对每一个1级聚类分组分别进行聚类；所述自定义的内存刷写规则，还包括：按照任务优先级递减并且刷写数据由热数据到冷数据的先后顺序，依据HBase集群的内存区分类型，对各任务分组进行内存配额；在对任务分组进行内存配额时，优先对高优先级热数据的任务分组进行内存配额。

全文数据：

权利要求：

百度查询： 苏州浪潮智能科技有限公司 一种基于AEP内存的HBase集群性能优化方法及系统