买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜同济大学申请的专利一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114828018B 。

龙图腾网通过国家知识产权局官网在2025-03-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210325855.6，技术领域涉及：H04W16/10；该发明授权一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法是由王睿;史敏燕设计研发完成，并于2022-03-30向国家知识产权局提交的专利申请。

本一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法在说明书摘要公布了：本发明属于无线通信领域，提出了一种基于深度确定性策略梯度的移动边缘服务器任务卸载方法。假定系统中存在多个用户的情况下，本发明通过合理分配系统资源达到优化系统任务处理时延最小的目的。本发明采用深度确定性策略梯度算法来解决任务在本地端、移动边缘服务器端进行处理的功率分配问题，从而减小系统中的任务处理时延。本发明将计算卸载问题建模为信道时变下整个系统最大计算时延最小问题，同时考虑边缘服务器和用户的能量约束，构造符合强化学习算法模型下的优化目标，使用深度确定性策略梯度算法求解计算卸载策略。

本发明授权一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法在权利要求书中公布了：1.一种基于深度确定性策略梯度的多用户移动边缘计算卸载方法，其特征在于，包括以下步骤：步骤1.初始化当前价值网络Q、当前策略网络μ、目标价值网络Q'、目标策略网络μ'，当前网络的参数分别为θQ、θμ，目标网络的参数为θQ'←θQ，θμ'←θμ；步骤2.初始化经验池B；步骤3.在t时刻，将用户当前待处理任务量Ckt、上一时刻不同用户和移动边缘服务器的信道增益集合hkt-1＝{hk1t-1,hk2t-1,...,hkMt-1}作为当前系统状态skt＝[hkt-1,Ckt]；步骤4.在t时刻，用户根据观察到的系统状态量选取选择动作at，以1-ε的概率选取具有最大Q值的动作，以ε的概率随机选取其他动作，其中，贪婪因子ε为0～1常数；动作集合包括任务分配和功率分配： 其中，αkt为用户k的本地任务权重，αkCk表示用户在本地处理的任务量，1-αkCk表示用户卸载到MEC服务器的任务量；表示用户k的本地处理功率，表示用户k的数据传输功率，表示MEC服务器m分配给用户k卸载的任务的计算功率；步骤5.根据系统选择的动作判断该动作所属的连接场景，分别计算不同连接场景下的最大任务处理时延；在本地进行处理的任务为akCk，可以计算出用户k的本地处理时延为： 计算卸载时延包含两部分：任务在卸载时的传输时延和任务在MEC服务器的处理时延，只有当任务在MEC服务器上完成处理之后，整个任务卸载的过程才算结束；根据卸载的任务量1-akCk，那么用户k将任务卸载到MEC服务器m的传输时延为： MEC服务器m计算用户k卸载过来的任务的处理时延为： 本地计算和任务卸载是同时进行的，因此用户k的本次任务计算时延是本地处理时延和计算卸载时延的最大值： 在场景1下，在一个时隙内，一个MEC服务器只能被一个用户连接，不同用户和MEC服务器之间的连接是独立的，互不影响；在场景2下，在同一时刻不同的用户可以连接到同一个MEC服务器，意味着一个MEC服务器有限的资源供给多个用户使用，用户间存在竞争关系；系统的奖励函数为： 执行动作后根据公式5计算当前奖励值，同时观察下一个状态；步骤6.将t时刻的经验st,at,rt,st+1放入经验池B中；步骤7.随机从经验池B中抽取样本训练当前价值网络和当前策略网络；步骤8.根据公式6计算目标Q值：yi＝ri+γQ′Si+1,μ′Si+1|θμ′|θQ′6步骤9.最小化当前价值网络的损失函数： 步骤10.采用随机梯度下降法更新当前策略网络的参数θμ： 其中，J为策略目标函数；为策略梯度；为Q函数梯度；为动作函数μst|θμ]的梯度；步骤11.更新目标价值网络的参数和目标策略网络的参数：θQ'←τθQ+1-τθQ'9θμ'←τθμ+1-τθμ'10其中，θμ′为策略网络参数；θQ′为价值网络的参数；τ为更新权重因子；步骤12.根据环境变化，用户重复步骤3～11，直到策略收敛，此时用户学习到最优计算卸载方案；步骤5中，用户本地计算时延由用户本地计算速率推导得到，用户k的本地计算速率为： 其中，Dk是用户k完成一个任务比特指这个任务的大小是一个比特所需的CPU周期数，是用户k分配给本地的计算功率，是用户k在时刻t的CPU频率，kl是取决于用户设备芯片架构的有效开关电容CPU数秒；MEC服务器的任务处理时延由MEC服务器计算速率和任务传输速率推导得到，MEC服务器m的计算速率为： 其中，Dm是MEC服务器m完成一个任务比特所需的CPU周期数，km是取决于MEC服务器芯片架构的有效开关电容CPU数秒，是在t时刻MEC服务器m分配给用户k卸载过来的任务的计算功率；用户k和MEC服务器m之间的通信速率为： 其中，表示t时刻用户k进行任务卸载时的数据传输功率，W表示系统带宽，N0表示高斯白噪声的方差。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。