买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军63921部队

摘要：一种基于航天器的博弈优化方法、装置、设备及介质，包括获取在预设追逃博弈场景下追踪器当前的状态量和逃逸器当前的状态量，其中状态量包括位置和速度；将追踪器当前的状态量输入利用智能体训练方法训练好的追踪器智能体以得到追踪器当前的动作量，将逃逸器当前的状态量输入利用智能体训练方法训练好的逃逸器智能体以得到逃逸器当前的动作量；其中动作量包括加速度、脉冲幅值、面内方向角和面外方向角；根据追踪器当前的动作量和逃逸器当前的动作量控制追踪器和逃逸器进行追逃博弈。解决了博弈优化通常面向非博弈的单边训练优化场景设计的，仅能让智能体学会博弈，但是无法达到最优的博弈效果的技术问题。

主权项：1.一种基于航天器的博弈优化方法,其特征在于，包括：获取在预设追逃博弈场景下追踪器当前的状态量和逃逸器当前的状态量，其中状态量包括位置和速度；将所述追踪器当前的状态量输入利用智能体训练方法训练好的追踪器智能体以得到所述追踪器当前的动作量，将所述逃逸器当前的状态量输入利用智能体训练方法训练好的逃逸器智能体以得到所述逃逸器当前的动作量；其中动作量包括加速度、脉冲幅值、面内方向角和面外方向角；根据所述追踪器当前的动作量和所述逃逸器当前的动作量控制所述追踪器和所述逃逸器进行追逃博弈；其中，所述智能体训练方法包括：构建马尔科夫博弈模型和经验池；其中，所述马尔科夫博弈模型包括智能体在博弈过程中的状态量、动作量、参考函数和参考因子，所述经验池包括与所述状态量、所述动作量、所述参考函数和所述参考因子对应的经验数据；构建学习者，并根据所述学习者构建主网络和目标网络；其中，所述学习者包括价值神经网络和在博弈过程中每个所述智能体对应的策略神经网络，所述主网络根据所述价值神经网络和所述策略神经网络的参数构建，所述主网络包括主价值网络和主策略网络，所述目标网络根据所述主网络的网络结构和网络参数确定，所述目标网络包括目标价值网络和目标策略网络；构建待训练智能体对，以所述马尔科夫博弈模型作为训练环境，获取所述待训练智能体对在所述训练环境中与环境交互后的目标经验数据；其中，所述待训练智能体对包括进行追逃博弈的追踪器智能体和逃逸器智能体；将所述目标经验数据存储至所述经验池中，所述学习者从所述经验池中采样多条经验数据，计算所述多条经验数据对应的价值分布，并根据所述价值分布对应的价值损失函数、所述主价值网络和所述目标价值网络对所述学习者中的价值神经网络进行参数更新；计算得到所述多条经验数据对应的确定性辛策略梯度，根据所述确定性辛策略梯度、所述主策略网络和所述目标策略网络对所述学习者中的策略神经网络进行参数更新；直至更新后的所述学习者中的所述价值神经网络和所述策略神经网络满足预设收敛要求时，将满足预设收敛要求的更新后的所述价值神经网络和所述策略神经网络的网络参数作为所述待训练智能体对的网络参数，得到训练好的智能体对。

全文数据：

权利要求：

百度查询： 中国人民解放军63921部队 一种基于航天器的博弈优化方法、装置、设备及介质