买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西北工业大学申请的专利基于无模型增量式强化学习的带臂无人机悬停稳定控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119045317B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411519231.3，技术领域涉及：G05B11/42；该发明授权基于无模型增量式强化学习的带臂无人机悬停稳定控制方法是由马先龙;呼卫军;王瑞昌;全家乐;于巽飞;李海闰设计研发完成，并于2024-10-29向国家知识产权局提交的专利申请。

本基于无模型增量式强化学习的带臂无人机悬停稳定控制方法在说明书摘要公布了：本发明提供了基于无模型增量式强化学习的带臂无人机悬停稳定控制方法，包括：建立无人机和带载机械臂模型，建立深度强化学习算法框架，初始化神经网络策略，设计分层奖励函数，采集无人机和带载机械臂状态信息，策略神经网络根据采集的状态信息输出增稳控制指令，与PID控制器输出的控制指令进行带参数的权值叠加，得到融合控制律，再将融合控制律输入无人机和带载机械臂模型，解算下一状态信息，利用下一状态信息计算该状态的奖励值，并结合相应动作反馈给深度强化学习算法框架，运行分布式近端优化策略输出策略梯度，计算策略的梯度下降，利用梯度下降更新神经网络，完成策略的更新。本发明能够实时给予指导信息，提升训练效率。

本发明授权基于无模型增量式强化学习的带臂无人机悬停稳定控制方法在权利要求书中公布了：1.基于无模型增量式强化学习的带臂无人机悬停稳定控制方法，其特征在于：包括以下步骤：S1、建立无人机和带载机械臂动力学模型，定义无人机和带载机械臂初始状态作为当前状态；S2、建立深度强化学习算法框架，初始化神经网络策略，设计带臂无人机稳定悬停对应的分层奖励函数，并开始训练；S3、采集无人机和带载机械臂状态信息，策略神经网络根据采集的状态信息输出增稳控制指令，与PID控制器输出的控制指令进行带参数的权值叠加，得到融合控制律，再将所述融合控制律输入无人机和带载机械臂动力学模型，解算下一状态信息，利用下一状态信息计算该状态的奖励值，并结合相应动作反馈给深度强化学习算法框架，运行分布式近端优化策略输出策略梯度，计算策略的梯度下降，利用梯度下降更新神经网络，完成策略的更新；得到融合控制律的过程具体为：所述带臂无人机与环境进行交互，采样并收集训练状态量样本，输入到策略神经网络并计算控制策略的增稳控制指令，与PID控制器输出的控制指令进行带参数的权值叠加，交叉融合得到的多个指令中选择最高概率加权控制指令作为抑制电磁干扰的最终指令；具体的融合控制律如下：引入偏差权值参数，在控制指令融合过程中，遵循以下变权值过程，其中为期望位置，为实际位置： ；最终控制律表示为： ；其中，为神经网络策略输出的动作集，为人工设计的PID控制器输出的控制律集合，为融合控制律集合，为时刻融合控制律集合中选择的概率最大的控制律；S4、若奖励值大于设置的奖励阈值，训练完成，保存策略网络参数；若不满足，则继续采集状态信息、策略信息、奖励信息存入经验池，重复步骤S3，直到奖励函数达标且模型稳定，训练完成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。