首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

基于数据特征的智能算力调用管理系统及方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:北京安联通科技有限公司;杨桢

摘要:本发明涉及调度管理技术领域,公开了一种基于数据特征的智能算力调用管理系统及方法。该方法通过收集历史任务数据,构建标准样本集,并对标准样本集中的历史任务数据进行预处理,基于得到的预处理后的历史任务数据,通过卷积神经网络进行数据特征提取,同时,收集用户需求任务数据,通过卷积神经网络实时提取用户需求任务数据的特征数据并与预处理后的历史任务数据的特征数据进行匹配,预测用户需求任务数据的任务数据计算量,并基于预测到的用户需求任务数据的任务数据计算量进行算力资源调度,提高了智能算力调用管理的效率和实时性。

主权项:1.一种基于数据特征的智能算力调用管理方法,其特征在于,包括以下步骤:S1、收集历史任务数据,构建标准样本集,并对标准样本集中的历史任务数据进行预处理,得到预处理后的历史任务数据;所述历史任务数据包括:任务数据计算量以及任务数据存储容量;S2、基于得到的预处理后的历史任务数据,通过卷积神经网络进行数据特征提取,得到预处理后的历史任务数据的特征数据;S3、收集用户需求任务数据,通过卷积神经网络实时提取用户需求任务数据的特征数据并与预处理后的历史任务数据的特征数据进行相似度匹配,预测用户需求任务数据的任务数据计算量;所述用户需求任务数据包括:任务数据存储容量;S4、基于预测到的用户需求任务数据的任务数据计算量进行算力资源调度;所述对标准样本集中的任务数据进行预处理包括以下步骤:通过聚类算法对收集到的历史任务数据进行聚类,聚类结果包括:各类历史任务数据、类数量以及聚类中心;S11、设置划分的类数量为K;当类数量小于K时,采用二分法进行划分;S12、对划分后的类重复进行二分法划分,直至划分后的类数量等于K;S13、划分完成后,计算每个类中特征数据的方差,并设置方差阈值; ;其中,为当前类中历史任务数据之间距离的方差,表示当前类中第j个任务数据之间的距离,表示计算的平均距离值,n表示历史任务数据的数量;当划分后的每个类中历史任务数据之间距离的方差小于或等于设置的方差阈值,表示当前聚类的结果为最优结果;当划分后的每个类中历史任务数据之间距离的方差大于设置的方差阈值,表示当前聚类的结果不是最优结果;当聚类的结果不是最优结果时,设置K=K+1,重复进行S11和S12,直至K的值不再增大,迭代停止,输出聚类后的最优结果,设定聚类后的最优结果为聚类结果;设定聚类后的历史任务数据为预处理后的历史任务数据;所述二分法划分包括以下步骤:设定历史任务数据量化坐标为,历史任务数据量化坐标为;计算历史任务数据量化坐标之间的距离值如下所示: ;其中,表示历史任务数据和历史任务数据之间的距离;基于计算得到的各类历史任务数据之间的距离,计算平均距离值如下所示; ;其中,表示计算的平均距离值,n表示历史任务数据的数量,表示第i个历史任务数据;将计算得到的平均距离值作为聚类中心对类进行划分,将原本一个类平均划分为两个类;所述基于得到的预处理后的历史任务数据,通过卷积神经网络进行数据特征提取,得到预处理后的历史任务数据的特征数据包括以下步骤:S21、将预处理后的历史任务数据按分类依次输入卷积神经网络;S22、接收到输入的预处理后的历史任务数据后,卷积神经网络卷积层基于卷积核按照设置的步长在输入的预处理后的历史任务数据中移动,并通过卷积计算公式将每个步长对应区域上的特征值与预处理后的历史任务数据中的特征值进行乘积累加;卷积计算公式如下所示: ;其中,表示输入的预处理后的历史任务数据,表示对应卷积核的权值,b表示偏置值,表示输出的历史任务数据特征;S23、对于提取的历史任务数据特征,通过卷积神经网络的池化层对其进行特征降维,保留输入的预处理后的历史任务数据中的重要信息;S24、经过不断堆叠的卷积和池化后将数据传入全连接层;S25、通过全连接层将特征数据进行展开组合,得到一个特征数组,并保存在数据库中;设定卷积神经网络处理后的特征数组为预处理后的历史任务数据的特征数据;所述实时提取用户需求任务数据的特征数据并与预处理后的历史任务数据的特征数据进行相似度匹配包括以下步骤:相似度匹配公式如下所示: ;其中,表示两组特征数据之间的相似度程度,表示用户需求任务数据的特征数据的向量,表示预处理后的历史任务数据的特征数据的向量;根据计算相似度取值范围为[-1,1];当计算的相似度取值在0,1]范围内时,表示两组特征数据相似,选取相似度取值最大时,对应的历史任务数据中的任务数据计算量,作为预测的用户需求任务数据的任务数据计算量;当计算的相似度取值在[-1,0]范围内时,表示两组特征数据不相似,将用户需求任务数据中的任务数据存储容量,作为预测的用户需求任务数据的任务数据计算量;所述基于预测到的用户需求任务数据的任务数据计算量进行算力资源调度包括以下步骤:S41、基于预测的用户需求任务数据的任务数据计算量,计算用户需求任务数据的执行时间;设定算力系统中每个算力节点的算力值s为固定值;计算用户需求任务数据的执行时间公式如下: ;其中,表示第个用户需求任务数据的执行时间,表示第个用户需求任务数据,表示第r个算力节点;S42、基于计算的用户需求任务数据的执行时间对用户需求任务数据进行排序,确定各用户需求任务数据的执行顺序;S43、基于确定的各用户需求任务数据的执行顺序和执行时间进行算力资源调度管理;所述基于计算的用户需求任务数据的执行时间对用户需求任务数据进行排序,确定各用户需求任务数据的执行顺序包括以下步骤:实时遍历算力系统中空闲的算力节点;用户需求任务数据到达算力系统时,当算力系统中存在空闲的算力节点时,到达的用户需求任务数据无需等待,直接传输至空闲的算力节点中执行;用户需求任务数据到达算力系统时,当算力系统中不存在空闲的算力节点时,将到达的用户需求任务数据存入等待队列,并实时更新等待队列中用户需求任务数据的执行顺序;实时更新等待队列中用户需求任务数据的执行顺序包括以下步骤:计算用户需求任务数据的权重,用户需求任务数据的权值计算公式如下; ;其中,表示第个用户需求任务数据的权值,表示第个用户需求任务数据的等待时间;基于用户需求任务数据权值的大小降序排列,并实时更新等待队列;所述基于确定的各用户需求任务数据的执行顺序和执行时间进行算力资源调度管理包括以下步骤:根据用户需求任务数据的执行时间计算每个算力节点的执行完成时间;算力节点的执行完成时间=用户需求任务数据开始执行时间+用户需求任务数据的执行时间;基于算力节点的执行完成时间对等待队列中的用户需求任务数据进行分配;设定用户需求任务数据的完成时间;算力节点会预估用户需求任务数据的截止时间,当预估的用户需求任务数据的截止时间超过设定用户需求任务数据的完成时间,则不执行该用户需求任务数据,当预估的用户需求任务数据的截止时间满足设定用户需求任务数据的完成时间,则执行该用户需求任务数据。

全文数据:

权利要求:

百度查询: 北京安联通科技有限公司 杨桢 基于数据特征的智能算力调用管理系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。