买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江工业大学

摘要：一种面向高通量数据流的分布式索引结构及负载均衡方法，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务。本发明提出一种面向多源、高通量大数据流的分布式索引结构及负载均衡方法，实现多源、高通量大数据流的接收，对海量数据流快速构建索引并高效存储，提供高并发的近实时查询服务，对分布式集群各节点实现负载均衡。

主权项：1.一种面向高通量数据流的分布式索引结构及负载均衡方法，其特征在于，所述方法包括以下过程：高通量数据流的接收，底层索引构建和发布，顶层索引构建和发布，数据流和分布式索引的高效存储，查询处理，集群负载均衡，提供高并发的近实时查询服务；分布式集群包括数据流接收节点、一级协调结点、二级协调结点、查询节点、存储节点五种节点，所述数据流接收节点负责数据流的接收和排序；一级协调结点负责数据流接收节点、查询节点、存储节点、二级协调节点的负载均衡，顶层索引的构建及发布，查询请求的发布；二级协调节点负责数据流指针的接收，底层索引的构建及分发；查询节点负责底层索引和顶层索引的存储，查询处理；存储节点负责数据流、底层索引和顶层索引的持久化存储；分布式索引的构建步骤包括：1根据负载均衡策略由指定的数据流接收节点实时接收和缓存流元组，并对流元组进行归并排序；2数据流接受节点将数据流指针发布至负载均衡策略指定的二级协调节点；3二级协调节点构建底层索引，并将其发布到负载均衡策略指定的查询节点；4一级协调节点根据本地存储的底层索引对应的时间及存储位置完成顶层索引的插入构建，并以广播的形式将顶层索引分发到所有查询节点；5数据流元组初始缓存在数据流接收节点，在特定条件下将数据迁移到指定的存储节点上，数据迁移结束后，修改二级协调结点和查询节点上底层索引中指向流元组的指针，底层索引初始缓存在查询节点，在特定条件下将底层索引迁移到指定的存储节点上，底层索引迁移结束后，修改一级协调节点和查询节点上顶层索引中指向底层索引根节点的指针；为了实现数据流接收和排序的负载均衡、底层索引构建和发布的负载均衡、数据流和分布式索引持久化存储的负载均衡、以及查询处理的负载均衡，即实现数据流接受节点间的负载均衡、二级协调节点间的负载均衡、查询节点间的负载均衡和存储节点间的负载均衡，选取数据流接收节点的十四个参数作为性能评价指标，选取二级协调节点的十一个参数作为性能评价指标，选取查询节点的十九个参数作为性能评价指标，选取存储节点的十三个参数作为性能评价指标；负载均衡的步骤包括：1一级协调节点通过从各个节点收到的所有参数值乘以当前参数权重并求和得出数据流接收节点、二级协调结点、查询节点和存储节点的最终权重值，参数的权重通过层次分析法适配；2一级协调节点根据所有数据流接受节点、二级协调节点、查询结点和存储节点IP地址辅以KETAMA_HASH映射函数分别构建四个哈希环，并依据节点的最终权重值扩充虚拟结点；3一级协调节点接收数据流接收请求、底层索引构建请求、查询请求、持久化存储请求，根据其IP地址辅以KETAMA_HASH映射函数映射在上述四个哈希环上，映射成功后沿哈希环顺时针寻找到第一个低负载结点进行任务发布。

全文数据：

权利要求：

百度查询： 浙江工业大学 面向高通量数据流的分布式索引结构及负载均衡方法