买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：一网互通(北京)科技有限公司

摘要：本发明实施例中提供了一种大数据中加速处理elasticsearch数据的方法、装置及电子设备，属于数据处理技术领域，该方法包括：对elasticsearch数据进行特征提取，得到与elasticsearch数据对应的数据特征集K；利用主进程初始化与所述任务需求匹配的运行资源Z；在n个子进程启动后，主进程将elasticsearch数据切分成包含n个数据段的切分数据集合；对处理elasticsearch数据的当前设备的处理性能进行评估，得到性能评估结果；基于性能评估结果P、算力评估结果S和均衡函数J，计算n个子进程中需要分配的线程数集合。本发明能够提高elasticsearch数据的处理效率。

主权项：1.一种大数据中加速处理elasticsearch数据的方法，其特征在于，包括：获取需要进行处理的elasticsearch数据之后，对elasticsearch数据进行特征提取，得到与elasticsearch数据对应的数据特征集K；根据所述数据特征集K计算elasticsearch数据处理所需要的任务需求，利用主进程初始化与所述任务需求匹配的运行资源Z；基于所述运行资源Z，确定需要开启的子进程的数目n，所述n个子进程由主进程开启，在n个子进程启动后，所述主进程将elasticsearch数据切分成包含n个数据段的切分数据集合D={D1,D2,…Dn}，并将所述n个数据段注入到每个独立运行的子进程中；对处理elasticsearch数据的当前设备的处理性能进行评估，得到性能评估结果P={Pu,Pm,Pn,Pr}，对切分数据集合D={D1,D2,…Dn}进行计算复杂度评估，得到算力评估结果S={S1,S2,…Sn}，Pu表示当前设备的进程计算性能，Pm表示当前设备的存储响应性能，Pu表示当前设备的网络传输性能，Pu表示当前设备的进程切换性能；基于性能评估结果P、算力评估结果S和均衡函数J，计算n个子进程中需要分配的线程数集合X={X1,X2,…Xn},并基于线程数集合X在每个子进程内创建多个线程，在各子进程完成数据计算任务后，将计算结果返回主进程，由主进程对计算结果进行整合和输出。

全文数据：

权利要求：

百度查询： 一网互通(北京)科技有限公司 大数据中加速处理elasticsearch数据的方法、装置及电子设备