买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学;上海卫星工程研究所

摘要：本发明公开了一种基于中断概率的有损协作无人机中继位置优化方法，建立包含采用有损转发策略的无人机中继以及具有具体失真要求的用户端的通信系统模型，利用香农有损信源信道分离定理，解决系统中各链路多端信源编码问题，进一步分析计算系统中断概率，设计一种基于SAC的强化学习算法，基于中断概率对无人机中继位置和轨迹进行优化，最终得到合理的无人机中继位置和轨迹。本发明方法解决了系统中各链路多端信源编码问题和系统中断概率的分析计算问题，具有探索性和鲁棒性的优势。

主权项：1.一种基于中断概率的有损协作无人机中继位置优化方法，其特征在于，包括如下步骤：步骤1：设计有损协作无人机中继系统并明确场景信道模型；所述有损协作无人机中继系统包括一台基站、一架无人机中继和K个用户；用户采用频分多址接入；无人机中继采用有损转发策略，即在中继处同样进行解码，但对错误的解码信息不进行丢弃，继续传输；对所有链路采用相同的路径损耗模型建模，并采用Nakagami-m衰落信道描述无人机的衰落信道特性；步骤2：基于系统模型分析计算系统中断概率；针对单个用户，将系统模型等效为对应多端信源编码问题，根据信息论推导得出用户的可达速率-失真区域，在区域内对相应衰落模型的瞬时信噪比概率密度函数进行积分得到中断概率计算式；步骤3：将基于中断概率的无人机中继位置优化问题转化为马尔可夫决策问题，对动作空间以及状态空间进行建模，明确优化目标设计奖励函数：基于优化问题，获取无人机的位置坐标作为状态信息，无人机的位移坐标作为动作信息，将步骤2中计算所得的中断概率用于构建奖励函数作为奖励信息；将中断概率优化问题建模为一个马尔可夫决策过程，该过程的状态、动作和奖励功能定义如下：状态信息包含无人机在每个时隙t的水平方向位置信息，其描述为st＝mt，nt，mt、nt分别表示无人机在时隙t时的横坐标和纵坐标；设无人机高度不变，无人机能够向任意方向飞行，其行动空间是连续的；每个时隙t的动作由at＝Δmt，Δnt表示，Δmt、Δnt分别表示无人机在每个时隙t的位置变化；动作空间范围有限，等效于限制无人机的飞行速度；奖励信息为与中断概率有关的函数；在每个时间t，基于公式对奖励进行计算，μ表示经验参数；K表示用户数量，Pout表示步骤2中推导计算所得的系统中断概率，rt+1表示无人机在时间t执行动作后获得的奖励值；步骤4：基于步骤3中设计的算法奖励，构建深度强化学习模型，对深度强化学习模型进行训练：设计一个策略网络、两个当前评价网络以及两个目标评价网络；其中策略网络输入当前状态st，输出动作概率分布的均值和方差；当前评价网络输入当前状态和当前动作，输出当前Q值；目标评价网络输入后继状态和后继动作，输出目标Q值的计算所需量；五个网络均由3个全连接层构成，每层256个神经元，通过ReLU函数激活；经验池中包括经验数据st，at，st+1，rt+1，表示在状态st下通过策略网络得到动作的概率分布后采样得到动作at，执行动作at后得到下一状态st+1和奖励rt+1；网络更新过程如下：从经验回放池随机采样得到经验数据st，at，st+1，rt+1，利用评价网络和目标评价网络计算出当前Q值和目标Q值，并通过对损失函数进行反向传播训练完成对两个当前评价网络参数θ的更新；随后通过对进行反向传播训练对策略网络参数φ进行更新；温度系数α通过最小化损失函数进行更新，最后对目标评价网络进行软更新。

全文数据：

权利要求：

百度查询： 西北工业大学 上海卫星工程研究所 一种基于中断概率的有损协作无人机中继位置优化方法