买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南通先进通信技术研究院有限公司;南通大学申请的专利基于强化学习的海域安全通信无人机轨迹实时规划方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115407794B 。

龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211024919.5，技术领域涉及：G05D1/46；该发明授权基于强化学习的海域安全通信无人机轨迹实时规划方法是由王伟;杨永杰;陈俊杰;曹张华;孙强;刘锦涛;吴磊设计研发完成，并于2022-08-25向国家知识产权局提交的专利申请。

本基于强化学习的海域安全通信无人机轨迹实时规划方法在说明书摘要公布了：本发明提供了基于强化学习的海域安全通信无人机轨迹实时规划方法，属于通信技术领域。解决了传统优化方法无法实时处理海洋动态场景的问题。其技术方案为：步骤一、建立联合大尺度衰落和小尺度衰落的UAV‑船舶信道模型；步骤二、得到移动船舶、窃听节点接收的信干燥比和速率；步骤三、通过求解系统最大平均保密速率来获得无人机的最优轨迹；步骤四、使用Q‑learning和DDPG算法来进行轨迹优化；步骤五、设置相关仿真参数；步骤六、展示不同起飞位置下两种算法的UAV轨迹实时规划结果。本发明的有益效果为：本发明针对不同船舶的通信需求实时的规划出UAV飞行轨迹，有效保障海洋通信的实时性。

本发明授权基于强化学习的海域安全通信无人机轨迹实时规划方法在权利要求书中公布了：1.基于强化学习的海域安全通信无人机轨迹实时规划方法，其特征在于，包括以下步骤：步骤一、建立联合大尺度衰落和小尺度衰落的UAV-船舶信道模型；步骤二、通过船载AIS获得船舶的航道信息，并分别得到移动船舶、窃听节点接收的信干燥比和速率；步骤三、通过求解系统最大平均保密速率来获得无人机的最优轨迹；步骤四、基于离散空间的无人机运动模型和基于连续空间的无人机运动模型，分别使用Q-learning和DDPG算法来进行轨迹优化；步骤五、设置相关仿真参数；步骤六、展示不同起飞位置下两种算法的UAV轨迹实时规划结果、不同船舶航迹下两种算法的UAV轨迹实时规划结果、两种算法每次迭代得到的平均奖励和不同飞行时间下不同算法得到的平均保密速率；所述步骤四中，基于Q-learning的海域无人机轨迹优化：首先，提出了一个解决离散轨迹优化问题的Q-learning框架，将Q-learning算法视为一个马尔可夫决策过程，它表示为一个集合S，A，R，P，γ；S＝{s1,s2,....}表示每个时隙UAV出现的位置或状态集合；其中，第n个时隙的状态可表示为：Sn＝{xsn,ysn,H}，xsn,ysn表示UAV的水平坐标，H表示UAV的垂直坐标；A表示UAV可用的动作集，在Q-learning框架下的离散空间内有9个可用动作{上，下，左，右，左上，右上，左下，右下，悬停}；R是UAV的奖励函数，表示为rn×rs+rb+rf；其中rs表示保密速率奖励，rb表示UAV飞出边界的惩罚，rf表示飞行时间惩罚；P表示状态转移概率，Ps′|s，a表示UAV在当前状态s采取动作a后移动到下一个状态s′的概率分布；γ表示折扣因子，决定着UAV重视未来奖励还是当前奖励；在每一次迭代开始时，随机选择岸上的一个UAV起飞点进行训练，且由于移动船舶按照固定航道航行，航道信息通过船载AIS历史信息得到；首先UAV会在第n个时隙根据探索率ε选择一个动作an，当该动作导致UAV飞出边界或无法按时返航时，UAV将受到rb和rf的惩罚，其中：rb和rf为负常数；否则UAV将根据an移动到下一个状态s′并且获得奖励rn；然后根据更新公式：Qπsn，an←Qπsn，an+αrn+γmaxQπsn+1，an+1-Qπsn，an来更新Q表；其中，Qπs，a＝ERn|sn＝s，an＝a，表示当UAV遵循策略πa|s在状态s采取动作a后得到的未来奖励期望； 表示在第n个时隙UAV总的折扣奖励，表示学习率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南通先进通信技术研究院有限公司;南通大学，其通讯地址为：226019 江苏省南通市崇川区崇川路58号4号楼11层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。