买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西北工业大学申请的专利一种基于深度强化学习的无线传感器网络部署方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115766769B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211314020.7，技术领域涉及：H04L67/12；该发明授权一种基于深度强化学习的无线传感器网络部署方法是由羊彦;洪国旗;张世龙;薛威;侯静设计研发完成，并于2022-10-25向国家知识产权局提交的专利申请。

本一种基于深度强化学习的无线传感器网络部署方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的无线传感器网络部署方法，首先搭建传感器网络部署仿真环境，然后设计深度强化学习环境中的状态空间、传感器动作空间、状态转移函数以及奖励；使用搭建的环境，基于软演员‑评论家算法构建控制器，在搭建的环境中训练；将最终得到的部署结果作为传感器网络的部署参数。本发明方法可以保证获得尽可能大的覆盖面积、网络连通性以及减小网络能耗。

本发明授权一种基于深度强化学习的无线传感器网络部署方法在权利要求书中公布了：1.一种基于深度强化学习的无线传感器网络部署方法，其特征在于，包括如下步骤：步骤1：搭建传感器网络部署仿真环境；还原目标区域的地形，设置仿真区域；计算传感器之间的路径损耗，根据传感器发射功率和路径损耗判断传感器之间能否相互通信；步骤2，设计深度强化学习环境中的状态空间S、传感器动作空间A、折扣因子γ、状态转移函数以及奖励函数R；步骤2-1：状态空间S具体如下： 状态空间S由五部分构成，每部分均由二维矩阵表示，分别为目标区域的网络覆盖情况C、每个传感器的水平部署位置L、每个传感器的功率PW、每个传感器的离地高度H以及当前操作的传感器所在位置G，每个传感器和其对应参数在矩阵中有着相同的位置；步骤2-2：每一次行动时传感器可选择的动作如下：传感器可以选择调整自身的位置或发射功率；传感器的位置改变由两部分组成，分别为移动方向和移动距离，移动方向为自水平面上相隔45°的八个方向和垂直的上下两个方向中任选一个，最大移动距离限制为相应方向动作范围的14；传感器的移动限制在目标区域内，超出目标区域边界的移动无效；传感器的离地高度限制在设定范围内，超出该范围的动作无效；步骤2-3：设计奖励函数；R＝α1△fCV-α2△Pc-α3△power2式中，△fCV为目标区域覆盖率的变化量，△Pc为网络连通性的变化量，△power为网络总信号发射功率的变化量，α1、α2和α3均为常数，用来调整各项的比例；步骤2-4：设置折扣因子γ；步骤3：使用步骤2搭建的环境，基于软演员-评论家算法构建控制器，在搭建的环境中训练；将最终得到的部署结果作为传感器网络的部署参数，具体如下：步骤3-1：控制器包含记忆池D和神经网络，记忆池用来存储过往的经历，神经网络的输入为状态s，s∈S，输出为传感器动作a，a∈A；神经网络包含五个结构相同参数不同的网络，分别是：一个输出传感器动作的参数为φ的动作网络和四个输出动作评价值的评估网络，四个评估网络中包含有两个参数分别为θ1和θ2的目标评估网络以及两个参数分别为和的主评估网络，所有网络的参数均随机初始化；步骤3-2：在训练时，初始化传感器的部署参数得到状态s，输入到动作网络中，动作网络输出每个动作的选取概率，依据概率大小选择传感器的动作并执行，得到仿真环境的新状态s_、奖励r，将s,a,r,s_,done存储到记忆池中，其中done代表该轮训练是否结束；步骤3-3：记忆池存储满后，从中随机抽取部分记忆对神经网络进行训练，动作网络损失函数如下，根据记忆池中取出的经历计算神经网络损失值： 其中，D为记忆池，πtst为t时刻策略输出的动作，α为熵的权重系数，πφst代表当前策略输出的动作，Qθst为主评估网络输出的t时刻动作评估值；目标评估网络损失函数如下，根据记忆池中取出的经历计算神经网络损失值： 其中，D表示记忆池，Qθst,at为主评估网络对t时刻执行动作的评估值，rst,at为t时刻执行动作at后的奖励，为t时刻执行动作后的新状态st+1的价值；步骤3-4：动作网络和目标评估网络均使用随机梯度下降更新；主评估网络按如下方式更新 其中，τ为常数，用来控制主评估网络的更新速度；步骤3-5：不断重复步骤3-2到步骤3-4至训练结束。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。