恭喜浙江工业大学胡亚红获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江工业大学申请的专利基于LSTM和遗传算法的分布式系统资源优化分配方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114528094B 。
龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210041802.1,技术领域涉及:G06F9/50;该发明授权基于LSTM和遗传算法的分布式系统资源优化分配方法是由胡亚红;潘恩宇;毛家发设计研发完成,并于2022-01-14向国家知识产权局提交的专利申请。
本基于LSTM和遗传算法的分布式系统资源优化分配方法在说明书摘要公布了:一种基于LSTM时间预测模型和遗传算法的资源分配方法,包括:1进行基于LSTM网络的作业执行时间预测模型的训练;2使用遗传算法为批作业中每个作业分配合理的资源量;把遗传算法的适应度函数改为基于LSTM的时间预测模型,通过遗传算法的选择,交叉,变异,迭代出适合每个作业的资源量大小;3使用基于遗传算法的资源分配算法针对不同作业给予不同的资源量;当Spark分布式计算框架收到作业时,将根据不同的作业能使用的集群资源量进行计算,得到作业最短的处理时间。将需要处理的批作业信息提交后,本发明能够给出各作业的优化资源分配方案,从而达到批作业运行时间最短的优化目标。
本发明授权基于LSTM和遗传算法的分布式系统资源优化分配方法在权利要求书中公布了:1.基于LSTM和遗传算法的分布式系统资源优化分配方法,其特征在于,包括以下步骤:1进行基于LSTM网络的作业执行时间预测模型的训练;LSTM网络的输入为作业的信息,其中,作业的信息包括作业类型和数据量、需要的内存、CPU核数,以及节点数,输出信息为作业的运行时间;2使用遗传算法为批作业中每个作业分配合理的资源量;把遗传算法的适应度函数改为基于LSTM的时间预测模型,通过遗传算法的选择,交叉,变异,迭代出适合每个作业的资源量大小;3使用基于遗传算法的资源分配算法针对不同作业给予不同的资源量;当Spark分布式计算框架收到作业时,将根据不同的作业能使用的集群资源量进行计算,以得到作业最短的处理时间;步骤1具体包括:1.1在集群运行过程中,对用户作业的运行时间影响因素进行分析,最终确定了五个用户作业执行时间的影响因子:作业类型、作业的数据量、作业使用的CPU核数、作业使用的内存大小和作业使用的节点数;1.2在真实分布式集群中运行不同的作业,描述作业的参数为作业类型、数据量、作业使用的CPU核数、内存大小和节点数,收集作业运行时间,作为时间预测模型的训练和测试数据;1.3基于LSTM的时间预测模型的输入分别是作业类型、作业数据量、作业使用的CPU核数、内存大小和节点数,模型输出为作业的运行时间;模型所采用的损失函数为均方差MeanSquareError,MSE,计算方法如下: 其中,yi表示作业的真实运行时间,表示作业的预测执行时间,m是作业样本数量;1.4进行模型超参数的选择;对于学习率的取值,采用分步实验的方法;首先,针对经典的学习率取值进行实验,用迭代过程中对应的损失值来确定最佳学习率的量级;随后,调整此量级中学习率的数值,进一步进行试验,最终得到最佳的学习率;对于迭代次数,使用不同的迭代次数进行实验,取对应的损失值最小的数据作为最优迭代次数;选取不同的网络层数进行模型运行,取对应的损失值最小的数据作为最优网络层数;选取不同的Dropout率进行模型运行,取对应的损失值最小的数据作为最优Dropout率;隐藏层节点个数使用下面的经验公式和实验确定; 其中nh,ni,no分别代表是神经网络的隐含层节点数、输入层节点数和输出层的节点数;确定隐藏层节点个数的优化搜索算法包括下面几步:a确定隐含层节点数的初始取值区间;b取值区间缩小;c取值区间拓展;d确定最优隐藏层节点数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市拱墅区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。