买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京信息工程大学申请的专利一种基于改进深度Q网络算法的移动机器人路径规划获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115344046B 。

龙图腾网通过国家知识产权局官网在2025-04-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211002713.2，技术领域涉及：G05D1/43；该发明授权一种基于改进深度Q网络算法的移动机器人路径规划是由臧强;徐博文;李宁;郭镜虹设计研发完成，并于2022-08-19向国家知识产权局提交的专利申请。

本一种基于改进深度Q网络算法的移动机器人路径规划在说明书摘要公布了：本发明公开一种基于改进深度Q网络算法的移动机器人路径规划，针对现有技术中存在的问题，本发明路径规划在深度Q网络算法的动作引导策略中，引入了改进的人工势场引力函数和目标引导动作函数，有效地减少了算法训练过程中的碰撞次数、提高了算法的收敛速度；本发明路径规划设计了一种分段奖励函数，其在当前位置距离目标点最近的邻近点，赋予折扣的奖励值，促使移动机器人朝目标点探索，从而使规划出来的路径更优；本发明路径规划改进采样策略，通过存放在样本经验池中所有样本的优先级，使经验池中样本被采样概率随着采样次数的增加而减小，从而提高了样本利用率，有效地解决了算法训练过程中出现损失值发散、神经网络过拟合的问题。

本发明授权一种基于改进深度Q网络算法的移动机器人路径规划在权利要求书中公布了：1.一种基于改进深度Q网络算法的移动机器人路径规划，其特征在于，所述路径规划包括以下步骤：步骤1：确定移动机器人的位置和目标点位置，初始化相关参数；步骤2：初始化预测网络参数w和目标网络参数w'，确定移动机器人当前状态S；步骤3：移动机器人以ε的概率通过将改进的人工势场引力函数作为动作策略，选择动作a执行，以1-ε的概率选择最大Q值的动作a执行,ε表示贪心采样策略；步骤4：因在算法后期人工势场引力较大，会导致移动机器人易陷入局部最小点，通过目标引导动作函数解决移动机器人陷入局部最小点的问题：步骤5：移动机器人执行步骤3～步骤4选取出的动作a后，根据Q值函数和改进的奖励函数得出当前状态奖励值r、下一状态S'和下一状态奖励值r'，并将S,a,r,r',S'作为一条经验样本存储到对应经验池中；步骤6：以概率ρ从经验池D1采样样本，以1-ρ概率从经验池D2采样样本，然后通过样本优先级公式计算出存储在样本经验池D1和D2中所有样本的优先级p，接着通过样本被采样的概率公式计算出每个样本被采样的概率，最后按概率对经验池中的样本进行采样；步骤7：若被采样的样本下一状态为目标点状态，则目标Q值为目标点状态的奖励值，否则目标Q值为目标点状态奖励值加折扣的下一状态最大Q值；步骤8：步骤6～步骤7连续执行，重复采样序列数量n次，得到最终的目标Q值；步骤9：根据均方误差损失函数公式计算出损失值，并使用小批量半梯度下降法更新预测网络的网络参数w；步骤10：每隔一定训练步数将预测网络的网络参数w赋值到目标网络的网络参数w'，根据移动机器人每一步选择的动作，规划出从起点到达终点的路径；步骤11：若第t步移动机器人位置状态未到达目标点状态则重复步骤2～步骤10，否则判断训练情节数是否到达网络训练总情节数，若未到达网络训练总情节数则重复步骤1～步骤10，若达到网络训练总情节数则结束训练，并根据移动机器人选择的最大Q值动作，规划出从起点到达终点的路径，算法结束；所述步骤5中改进的奖励函数具体如下：改进的奖励函数公式如下： 其中，λ为奖励函数的折扣因子，其中0＜λ＜1，Xne＝[xne,yne]是当前位置离目标点最近的邻近点，xne，yne是当前位置离目标点最近的邻近点的横纵坐标，为当前位置邻近点的集合，为邻近点与目标点的距离集合，i为当前位置的临近点的方向； 由如下欧式距离公式所得：

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学，其通讯地址为：210044 江苏省南京市浦口区宁六路219号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。