买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明涉及物联网技术领域，具体公开了一种密集部署NTN物联网网络的资源分配方法及系统，首先建立了密集部署NTN物联网网络的通信模型，进一步根据DL之间的资源冲突，利用极大团的定义和超图理论建立冲突超图，量化了DL之间的资源冲突，以降低资源分配的复杂性。然后，为了实现无冲突的资源分配并减少密集部署的NTN物联网网络的计算负载，提出了FedAvg‑D3QN协作训练框架基于联邦学习的决斗双深度Q网络算法，该协作训练框架由一个全局网络和多个D3QN本地网络组成，并利用经验回放技术来进一步增强模型性能。仿真结果表明，FedAvg‑D3QN方案在网络吞吐量和资源复用率方面优于其他方案，能够在实现无冲突的结果的同时最大化吞吐量和资源复用率。

主权项：1.密集部署NTN物联网网络的资源分配方法，其特征在于，包括步骤：S1、构建密集部署NTN物联网网络模型；密集部署NTN物联网网络模型包括N个随机分布在地面上的物联网设备即IoTD、L个驻停在预定位置的无人机、M条D2D信道即DL，还包括云服务器；D2D信道通过指定频谱进行通信，该频谱被分配用于IoTD之间的通信，频谱资源均匀分布在K个可用资源块即RB中，无人机充当非地面基站，协助IoTD将收集到的数据发送到云服务器进行聚合，云服务器又将RB分配的结果反馈给IoTD，IoTD利用D2D通信模式建立自组织网络；S2、基于密集部署NTN物联网网络模型的信道冲突关系构建超图干扰模型；S3、基于密集部署NTN物联网网络模型、超图干扰模型，以零信道冲突为约束条件，以最大化模型吞吐量为目标构建优化问题；S4、对优化问题进行求解，获取资源分配方案；所述步骤S4具体为：将优化问题构建为马尔科夫决策问题；将每一个DL视为一个独立的智能体，对马尔科夫决策问题采用深度强化学习算法，通过与环境的交互和迭代实验，使智能体获得设计最佳资源分配策略的能力，从而进行资源分配；在马尔科夫决策问题中，每一个智能体与环境交互，在时刻t观察所有状态S，并基于当前状态st∈S和策略π，选择动作空间A中的最优动作at，得到下一个状态st+1，并获得奖励Rt；通过与环境的持续交互，在每个时刻t，智能体积累了表示为{st,at,Rt,st+1}的经验，并将这些经验存储在Q表中，该Q表充当智能体学习的存储库，通过利用Q表，状态-动作映射函数通过持续的交互逐渐完善；最优策略通过最大化动作价值函数Qπs,a得出： 其中，γ∈0,1衰减因子，表示从当前状态st到下一状态st+1的转移概率，表示在状态s执行动作a后立即获得的奖励，表示从下一个状态st+1开始，使用策略π选择动作at+1的Q值函数；最优动作选择策略表示为： 其中，Qst,at表示在状态st的情况下选择动作at的Q值；Q表不断更新以学习最优策略并记录最优Q值最优Q值定义为： 其中，Qπst,at表示在最优策略下在状态st的情况下选择动作at的Q值；在时刻t，Q值的更新过程如下：Qt+1s′,a′←Qts,a+β·Lt,其中，Qt+1s′,a′表示更新得到的下一时刻t+1所对应的下一状态s′、下一动作a′的Q值，Qts,a表示更新前即当前时刻t所对应的当前状态s、当前动作a所对应的Q值，β表示学习率，Lt表示时间差分误差即t时刻预测值与目标值之间的差值；Lt由下式计算： 其中，表示在时刻t的预测的Q值，表示目标值，r表示当前状态s执行动作a获得的奖励，Qts,a表示t时刻状态s的时候，选择动作a的Q值，maxa′Qts′,a′表示从下一个状态s开始，选择让Q值最大的动作a所能获得的最大期望累计奖励。

全文数据：

权利要求：

百度查询： 重庆理工大学 密集部署NTN物联网网络的资源分配方法及系统