买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥工业大学

摘要：本发明公开了一种无线网络通信延迟和信道效率动态协同优化方法，其步骤包括：1、建立无线网络通信延迟和信道效率动态协同优化奖励模型；2、利用分布式强化学习动态优化无线网络通信延迟和信道效率奖励模型系数；3、利用分布式强化学习完成无线网络通信延迟和信道效率动态协同优化控制。本发明能通过强化学习动态优化无线网络通信延迟和信道效率奖励模型系数，从而优化无线网络的拓扑结构，从而能有效地协同优化无线网络通信延迟和信道效率。

主权项：1.一种无线网络通信延迟和信道效率动态协同优化方法，其特征在于，包括以下步骤：步骤1、建立无线网络通信延迟和信道效率的奖励模型；根据无线网络的信道效率与各个传输节点的发射功率关系，利用式1构建第i个传输节点的无线网络通信延迟和信道效率的奖励模型fi： 式1中，v1i、v2i分别为第i个传输节点的通信延迟的比例系数、信道效率的比例系数，Tint为第n次训练第t次执行时的第i个传输节点到目标传输节点的传输延迟之和，Pint为第n次训练第t次执行时第i个传输节点的发射功率；0＜i≤M；M为传输节点的最大个数；步骤2、利用分布式强化学习动态优化所述无线网络通信延迟和信道效率的奖励模型的系数；定义M个独立的智能体模块，定义第i个智能体的输入为对应第i个传输节点的无线网络通信延迟Tint和发射功率为Pint；0＜i≤M；步骤2.1、初始化n＝1，初始化M个传输节点的存储值x，其中第i个智能体模块初始化存储值xi＝0，并执行如下操作；步骤2.2、初始化t＝1，初始化M个传输节点的发射功率，其中第i个传输节点的发射功率为Pint；步骤2.3、根据M个传输节点的发射功率构建拓扑结构，并计算M个传输节点的延迟，其中第i个传输节点的延迟为Tint，从而将发射功率和延迟发送给对应的智能体模块；步骤2.4、M个智能体模块分别接收对应的传输节点发射功率和延迟，其中，第i个智能体接收发射功率Pint和延迟Tint，并利用式1构建奖励fi，并根据奖励fi计算输出对应第n次训练第t次执行时传输节点i的调整动作步骤2.5、M个传输节点分别接受对应智能体模块的调整动作，其中，第i个传输节点接收并执行调整动作并得到第n次训练第t+1次执行的发射功率Pint+1；步骤2.6、将t+1赋值给t，判断t＞T是否成立，若成立，则执行步骤2.7；否则顺序执行步骤2.3；T为最大执行次数；步骤2.7、M个智能体模块，利用式2分别得到第i个智能体模块在第n次训练的轨迹 步骤2.8、对M个智能体模块，初始化i＝1，并进行如下操作：步骤2.8.1、判断n＝1是否成立，若成立，将xi+1赋值给xi后，第i个智能体模块存储第n次训练的轨迹为并执行步骤2.8.5；否则，执行步骤2.8.2；步骤2.8.2、判断第n次训练的轨迹是否为第i个节点最佳轨迹，若成立，将xi+1赋值给xi，第i个智能体存储第n次训练的轨迹为并执行步骤2.8.3；否则，顺序执行步骤2.8.5；步骤2.8.3、利用式3得到期望回报奖励F： 式3中，t为轨迹的执行次数，q为轨迹的执行次数；Tiq表示轨迹中第q次执行时的第i个传输节点到目标传输节点的传输延迟之和，Tit表示轨迹中第t次执行时的第i个传输节点到目标传输节点的传输延迟之和，Piq表示轨迹中第q次执行时的第i个传输节点的发射功率，Pit表示轨迹中第t次执行时的第i个传输节点的发射功率；步骤2.8.4、利用式4-式5更新通信延迟和信道效率奖励模型的比例系数v1i、v2i： 式4-5中，ε1为v1i的更新系数，为期望回报奖励F对v1i求偏导，ε2为v2i的更新系数，为期望回报奖励F对v2i求偏导；←为赋值；步骤2.8.5、将i+1赋值给i，判断i≤M是否成立，若成立，则执行步骤2.8.1；否则，顺序执行步骤2.9；步骤2.9、将n+1赋值给n，判断n≤N是否成立，若成立，则执行步骤2.2；否则，则表示无线通信网络延迟和信道效率动态协同优化控制完成，保留M个智能体模块最后一次学习的最优轨迹并作为最优训练轨迹，其中，第i个智能体将最后存储的最优轨迹作为最优学习轨迹N为最大训练次数；步骤3、利用分布式强化学习完成无线网络通信延迟和信道效率动态协同优化控制M个智能体模块通过最优训练轨迹完成无线网络通信延迟和信道效率动态协同优化控制，其中，第i个智能体将最优训练轨迹中第T次执行的发射功率PinT作为最优发射功率PinT*，用于完成无线网络通信延迟和信道效率动态协同优化控制。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种无线网络通信延迟和信道效率动态协同优化方法