买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京科杰科技有限公司申请的专利基于键列分区的HIVE分组运算性能优化与调度方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119597490B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510144047.3，技术领域涉及：G06F9/50；该发明授权基于键列分区的HIVE分组运算性能优化与调度方法是由高经郡;高海玲;吕彦奎设计研发完成，并于2025-02-10向国家知识产权局提交的专利申请。

本基于键列分区的HIVE分组运算性能优化与调度方法在说明书摘要公布了：本发明提供基于键列分区的HIVE分组运算性能优化与调度方法，涉及数据处理技术领域，包括通过构建键列分布直方图，确定键列分区策略，对数据进行预处理；基于资源评估和动态规划算法优化数据分区；采用最小生成树算法计算最优数据传输路径，并动态调整分配方案。本发明可提高HIVE分组运算性能，实现计算负载的动态平衡，有效解决数据倾斜问题，提升大规模数据处理效率。

本发明授权基于键列分区的HIVE分组运算性能优化与调度方法在权利要求书中公布了：1.基于键列分区的HIVE分组运算性能优化与调度方法，其特征在于，包括：接收用户提交的HIVE计算任务，获取所述HIVE计算任务中的数据表信息和分组运算键列信息，基于所述数据表信息和分组运算键列信息构建键列分布直方图，根据所述键列分布直方图计算键列数据的分布密度和数据倾斜度，基于所述键列数据的分布密度和数据倾斜度确定键列分区策略，所述键列分区策略包括数据分区大小、分区数量以及采样率，按照所述键列分区策略对所述HIVE计算任务的数据进行分区预处理，生成初始数据分区集合；对所述初始数据分区集合中的每个数据分区执行资源评估，基于每个所述数据分区的数据量、计算复杂度和数据关联度生成资源需求向量，将所述资源需求向量输入预先训练的负载预测模型，获取每个所述数据分区的预测执行时间和资源占用率，根据所述预测执行时间和资源占用率构建数据分区的代价矩阵，基于所述代价矩阵采用动态规划算法对所述初始数据分区集合进行优化重组，生成计算代价最优的目标数据分区集合；从预设的计算节点资源池中选择满足计算需求的多个计算节点构建分布式计算集群，基于所述目标数据分区集合中各数据分区的代价矩阵，采用最小生成树算法计算所述多个计算节点之间的最优数据传输路径，根据所述最优数据传输路径将所述目标数据分区集合中的数据分区分配至对应的计算节点，在每个所述计算节点启动分组运算子任务，实时监控各计算节点的负载状态，当检测到负载不均衡时，基于所述代价矩阵和所述最优数据传输路径动态调整数据分区的分配方案，确保所述分布式计算集群的计算负载处于动态平衡状态。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京科杰科技有限公司，其通讯地址为：100096 北京市海淀区东升科技园北街6号院10号楼11层101；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。