买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开了一种基于超图分区的算力网络任务卸载的方法，属于算力网络任务卸载技术领域，包括以下步骤：步骤1、为任务卸载系统的任务建立超图表征模型；步骤2、建立任务卸载系统中的时延和能耗计算模型；步骤3、建立时延和能耗计算模型的优化目标；步骤4、使用基于超图分区和双层注意力机制的深度强化学习方法在任务卸载系统中学习，训练任务卸载预测网络。本发明提供了一种基于超图分区的算力网络任务卸载的方法，引入了超图来表征细粒度的异构任务和异构资源，并基于超图的深度强化学习解决了任务卸载中的能耗问题。

主权项：1.一种基于超图分区的算力网络任务卸载的方法，其特征在于，包括以下步骤：步骤1、为任务卸载系统的任务建立超图表征模型；步骤2、建立任务卸载系统中的时延和能耗计算模型；步骤3、建立时延和能耗计算模型的优化目标；步骤4、使用基于超图分区和双层注意力机制的深度强化学习方法在任务卸载系统中学习，训练任务卸载预测网络；步骤1中超图表征模型为包含任务信息和任务关系的有向超图其中表示携带任务信息的任务节点，ε＝{e1,e2,…,ej,…,em}表示多关联关系的有向超边，n和m分别表示任务以及超边的数量，第i个任务的信息表示为：{Ci,inDatai,outDatai,typei}，其中Ci表示算力需求，inDatai,outDatai分别表示该任务输入和输出的数据大小，typei表示任务类型；假设任务类型的集合表示为假定有k种任务，第j条有向超边包含的信息为{predj,eWj,tj,eTypej}，predj表示需要在tj任务开始执行之前需要完成的前驱任务集合，eWj表示从前驱任务集合到tj任务所需要的数据传输时间，eTypej表示这条超边包含的任务节点是否建议卸载到不同的资源池中，任务超图的相邻矩阵H表示为一个多维矩阵： Hij1＝eTypej；步骤2中任务卸载系统中的时延和能耗计算模型的具体建立过程如下：S21、建立CPN的资源池环境；S22、根据给定的卸载决策计算时延和能耗；S21中建立CPN的资源池环境具体为：CPN中的资源池为被编排成统一的能处理指定任务类型的虚拟机集合VMs，并用任务在本地系统上执行而不是选择到CPN中的资源池进行卸载会被视为卸载到0号的资源池上，将本地系统视为第0个资源池，资源池中的虚拟机处理不同任务类型，计算能力表示为CPu,v表示第u个资源池中处理第v种任务类型的虚拟机的计算能力；S22中根据给定的卸载决策计算时延和能耗的具体过程如下：假设系统给出的卸载决策为A1:n＝{ai|i∈{1,2,…,n}，其中表示第i个任务会被卸载到ai资源池中，当制定好卸载决策后，任务开始按照指定的顺序开始执行，对于任务ti，假设ai＝u，则卸载所需要的时间为： 其中，Ti,u表示总时间，和分别表示传输时间和执行时间，rul和rdl分别表示数据的上传信道和下载信道的传输速率，Ci表示算力需求，表示第u个资源池中处理第typei种任务类型的虚拟机的计算能力；对于可拆解的任务，整体的时间计算遵循任务的拓扑结构，每个任务开始执行的最早时间表示为： 式中，CTk表示前驱节点k的最早完成时间，k是属于任务ti的任意一个前驱，表示对于第k个任务卸载到对应的决策ak的时间，pre·表示任务ti的所有前驱任务：preti＝{k|k∈predj,tj＝ti,j∈{1,2,…,m}}根据每个任务的最早执行时间将超图内的任务节点排列为一个序列，任务节点排列在前驱任务完成后逐步卸载到对应的资源池上；对于资源池中的VMs来说，在任务卸载的过程中存在两种状态：一种是没有运行任务时的等待状态，另一种是有任务的运行状态，两种状态能相互转换，使用STu,v∈{0,1}表示第u个CPN资源池的VM上运行的第v种任务类型时的状态，使用0表示等待，1表示运行状态；使用ATu,v表示VM的预期可用时间，当VM的不运行任务时，WATu,v就等于当前时间，否则等于上一个等待状态的时间WATu,v加上当前正在其上面运行的任务ti的卸载时间： 为了计算每个任务的预计完成时间，为每个VM建立一个等待队列qu,v简写为qw，卸载的任务根据其在任务序列中的位置进行排队，假设任务ti被分配在等待队列中的位置为pi∈{1,…,qlen}，qlen表示队列长度，任务队列中的任务表示任务都还在等待执行，预期完成时间PFTi可以表示为： 式中，表示qw等待队列中的第j个任务所需要的卸载时间，包含任务传输时间和执行时间，都是卸载到u节点，表示执行时间，因为在本地所以不需要传输时间，v表示u对应的第v个虚拟机也即对应着处理第v种任务的虚拟机；根据超图任务的拓扑结构计算得到每个任务的最早开始时间： 其中，PFTk表示k的预期完成时间，k是前驱任务，表示从任务k到任务i所需要的数据传输和处理时间， 假设用te表示无实际意义的退出任务，它标志着所有任务均完成，那么整体的任务卸载的总时间表示为： 与时延计算类似，任务在传输和执行过程中均会产生对应的能耗和 其中的TPi,u表示传输功率，表示第u个资源池的有效开关电容，CPu,v表示第u个资源池中处理第v种任务类型的虚拟机的计算能力，因此该任务执行的总能耗表示为： 由于能耗的计算不需要考虑超图表征的任务之间的拓扑关系，所以总的能耗表示为： 式中，表示任务i对应的任务卸载决策是ai；步骤3中时延和能耗计算模型的优化目标是在所有任务都可以执行卸载的条件下，最小化总体的时延和能耗，具体表达式如下： 式中，ωt表示总延迟的权重，ωe表示总能耗的权重；步骤4中使用基于超图分区和双层注意力机制的深度强化学习方法在任务卸载系统中学习的具体过程如下：S41、对表征任务的超图进行超图分区预处理，通过KaHypar对超图进行分区；S42、建立强化学习中的马尔科夫决策，具体过程如下：基于强化学习，任务卸载过程被建模为MDP，对于算力任务所组成的超图在MDP中定义状态空间动作空间以及奖励函数卸载第i个任务的MDP状态表示为当前的超图嵌入以及前i个任务的卸载决策： 动作空间表示为第i个任务的卸载决策ai，奖励函数表示为优化目标P的增量： 奖励函数会鼓励往降低能耗和时延的方向学习，卸载的策略函数π是在状态si下选择动作ai的概率，产生一个整体的卸载决策的概率表示为： S43、训练基于双层注意力的深度神经网络，具体过程如下：假设超图中每个节点的嵌入信息可以表示为在输入编码器之前，将对嵌入信息使用第一层的自注意力得到编码计算方法如下： αi,j是注意力分数： simi,j＝queryikeyjqueryi表示第i个任务嵌入与可学习权值矩阵相乘得到的查询向量，valuej表示第i个任务嵌入与可学习权值矩阵相乘得到的值向量，keyj表示第i个任务嵌入与可学习权值矩阵相乘得到的键向量，simi,j表示第i个任务和第j个任务的相关性，将自注意力编码输入到编码器中，编码器和解码器都使用LSTM网络，编码器的最终隐藏状态会用作解码器的上下文向量输入，然后再添加一层注意力机制来优化解码器的LSTM网络中的记忆单元c和隐藏状态计算： 式中，表示第二层注意力网络中的第i个任务和第j个任务的注意力分数，表示第j个编码器的隐藏状态，表示第i-1个解码器的隐藏状态，cosi,j表示第二层注意力网络中的第i个任务和第j个任务的余弦相似度；注意力分数计算使用的是余弦相似度来捕获方向信息，解码器的隐藏状态计算为： 其中f·是非线性网络层，ci表示第i个任务所对应的解码器的LSTM网络中的记忆单元，ai-1表示i-1个任务的卸载决策，最终的卸载策略函数πai|si以及预测总体奖励的价值函数vsi通过隐藏状态和全连接层得到；网络的训练需要结合PPO算法，假设基于之前的旧策略函数为单个学习任务ti采样得到其轨迹τ，可用于更新多轮的新的策略函数ai|si；θi，其中和θi便是PPO中用到的旧策略参数和需要更新的策略参数，网络更新需要依赖于损失函数的计算，首先是PPO的裁剪相似度损失： 其中表示将概率分布比限制在[1-∈,1+∈]，是广义优势估计函数，表示第j的任务所对应的新旧策略比，表示第i个任务的旧策略函数的参数，πaj|sj；θj表示第i个任务的新的策略参数，γ∈[0,1]是用于计算累计误差的折扣因子，λ是控制偏差和方差的参数，同时，加入价值函数的MSE损失： 式中，vπ表示网络价值函数，sj表示第j个任务的MDP状态，表示实际预估的价值函数，rj+k表示第j+k个任务的MDP奖励；所以总体的损失函数表述为：

全文数据：

权利要求：

百度查询： 天津大学 一种基于超图分区的算力网络任务卸载的方法