买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于云计算的数据处理方法及系统，涉及数据处理技术领域，包括预处理数据并上传至云计算平台；分析数据处理所需云计算资源量，制定初步云计算资源量分配策略；云计算平台根据初步云计算资源量分配策略处理数据并进行实时监控与调整。本发明通过使用基于LSTM模型的时间序列预测模型和云计算资源分配公式，结合实时监控系统对分配的云计算资源量进行实时动态调整并在分配的云计算资源量一直未能解决云计算资源的短缺时重新对LSTM模型进行训练，不仅实现了资源动态分配，提高了数据处理和资源使用的效率，还提高了数据的可靠性和安全性，对于提高处理大规模数据集的高效性和灵活性具有重要意义。

主权项：1.一种基于云计算的数据处理方法，其特征在于：包括，对数据进行预处理；分析数据处理所需云计算资源量，制定初步云计算资源量分配策略；云计算平台根据初步云计算资源量分配策略处理数据并进行实时监控与调整；数据处理完成后进行备份和灾备方案设计；所述对数据进行预处理包括，收集需要处理的数据，去除无关和重复的数据，对数据进行标准化处理和格式转换，进行初步的数据分析统计数据量，进行预处理后将数据上传至云计算平台；所述分析数据处理所需云计算资源量包括，确定LSTM模型的层数及每层的单元数，确定模型输入和输出；将处理后的数据分为训练集和测试集，使用训练集数据训练LSTM模型；对LSTM模型进行迭代计算调整模型参数以优化模型性能；每个训练周期结束后，使用测试集评估模型性能；若训练周期结束后，验证差异没有明显变化，则停止模型训练获取训练好的LSTM模型；使用LSTM模型作为时间序列预测模型，对未来一段时间内的资源需求进行预测，公式如下展示： 其中，是预测的未来资源量，xt-n是历史资源量数据；将处理后的数据输入到LSTM模型中，LSTM模型自动处理输入数据并输出预测结果；所述制定初步云计算资源量分配策略包括，根据LSTM模型的预测结果，制定初步云计算资源分配策略，所述初步云计算资源分配策略为，若LSTM模型预测结果为显示接下来的所需资源量将保持平稳，则维持现有的云计算资源量并进行持续监控，若LSTM模型预测结果为显示接下来所需资源量将增加，则增加分配的云计算资源量，若LSTM模型预测结果为显示接下来所需资源量将减少，则减少分配的云计算资源量，进行云计算资源分配，所述云计算资源分配公式为： 其中，是使用非线性调整指数γ调整预测未来资源量的的影响力，使其变得非线性，α是负载调节系数，β是当前负载系数，Lt是当前实际负载；所述云计算平台根据初步云计算资源量分配策略处理数据并进行实时监控与调整包括，根据初步云计算资源量分配策略处理数据并使用Prometheus监控系统实时监测数据处理过程和分配的云计算资源使用情况，在云计算平台上收集云计算资源性能平均利用率数据，所述云计算资源性能平均利用率数据为所有云计算资源性能利用率的平均值，将云计算资源性能平均利用率数据发送回Prometheus监控系统进行分析：若分配的云计算资源量全部处于使用中且全部数据均处于处理过程中，云计算资源性能平均利用率在5分钟以内超过70％，则云计算资源分配策略不需要调整，对云计算资源性能平均利用率进行持续监控排查，发现存在未处理的数据，则加快数据处理速率，数据处理完成后释放云计算资源量；若分配的云计算资源量全部处于使用中但仍然存在部分数据未处理，云计算资源性能平均利用率超过70％持续5分钟以上，说明分配的云计算资源短缺，则云计算资源分配策略需要立即调整，云计算平台排查其他分配的云计算资源量，若存在分配的云计算资源量未处于使用中，则优先将这部分的云计算资源量分配给仍存在未处理数据的部分，若其他分配的云计算资源量都处于使用中，则云计算平台根据剩余未处理数据重新对所需云计算资源量进行分析，生成云计算资源再分配策略对剩余数据进行处理并对该数据进行标记存储为历史数据，作为更新云计算资源分配策略的参考，若生成的云计算资源再分配策略仍未能解决云计算资源短缺问题，则发送警报通知管理员立即处理数据，结束后对处理的数据进行标记，并将数据存储为最新的历史数据，将LSTM模型的训练数据更换为最新的历史数据进行重新训练；若存在部分分配的云计算资源量未处于使用中且全部数据均处于处理过程中，云计算资源性能平均利用率在3分钟以内持续低于50％，云计算平台排查其他分配的云计算资源量，若存在分配的云计算资源量未能处理完数据的部分，则优先将未使用的云计算资源量分配给这部分，若不存在，则自动触发资源回收机制，对云计算资源性能平均利用率进行分量检测，逐步回收性能利用率低于30％的云计算资源，直到云计算资源性能平均利用率高于70％。

全文数据：

权利要求：

百度查询： 广东织云科技有限公司 一种基于云计算的数据处理方法及系统