买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种面向大数据流式机器学习的吞吐率优化方法及系统。本系统包括部署于计算节点上流速监测模块和采样控制模块，以及部署于管理节点上的参数优化模块和数据采样模块；参数优化模块用于获取流式数据的数据类型并选取一数据采样策略，将数据采样策略及其参数发送给数据采样模块；以及根据新的采样率、模型训练吞吐率优化当前数据采样策略的参数设置或选择新的数据采样策略并将处理结果发送给数据采样模块；采样控制模块用于根据流速及模型训练吞吐率计算出新的采样率并将其发送给参数优化模块；数据采样模块用于对流式数据进行采样供流式机器学习任务进行模型训练；流速监测模块用于监测数据源的流速和模型训练吞吐率。

主权项：1.一种面向大数据流式机器学习的吞吐率优化方法，其步骤包括：1在计算节点启动数据采样模块、流速监测模块，在管理节点启动参数优化模块和采样控制模块；2采样控制模块确定初始采样率并设置流速汇报时间间隔；3参数优化模块获取数据源提供的流式数据的数据类型并选取一数据采样策略；然后根据所述初始采样率确定所述数据采样策略中的初始参数，将所述数据采样策略及其参数发送给数据采样模块；4采样控制模块通知各计算节点上的流式机器学习系统开始执行流式机器学习任务；5数据采样模块根据当前数据采样策略及其参数对当前接收的数据源产生的每批流式数据进行采样，并将采样结果发送给流式机器学习系统供流式机器学习任务进行模型训练；6在流式机器学习任务开始执行后，流速监测模块持续监测所述数据源的流速和模型训练吞吐率；然后按照设置的流速汇报时间间隔将所述流速和所述模型训练吞吐率按照发送给采样控制模块、将所述模型训练吞吐率发送给参数优化模块；7采样控制模块根据所述数据源的流速及所述模型训练吞吐率，计算出新的采样率并将其发送给参数优化模块；8参数优化模块根据新的采样率、模型训练吞吐率，优化当前数据采样策略的参数设置或选择新的数据采样策略并将处理结果发送给数据采样模块；9数据采样模块根据步骤8的处理结果对当前接收的数据源产生的每批流式数据进行采样；10流式机器学习任务运行过程中，持续执行步骤5～步骤9，以优化所述模型训练吞吐率。

全文数据：

权利要求：

百度查询： 广东电网有限责任公司 广东电网有限责任公司信息中心 一种面向大数据流式机器学习的吞吐率优化方法及系统